在 Spark 与 Redshift 的比较中，我们讨论了：

[arzina221]

哪个仪表板和用户导致了查询数量激增？
仪表板的平均延迟是多少？特定用户执行的所有仪表板的平均延迟是多少？
是什么导致我的 Airflow 或 Pinball 任务延迟激增？哪个查询变慢了？为什么？
为什么我的 Airflow 或 Pinball 作业失败了？如何在 Integrate.io 中快速找到这些查询？

识别拖慢集群速度的应用程序非常简单，只需向单个用户说明即可
立即免费开始并识别拖慢您集群的数据应用程序

Apache Spark 与 Amazon Redshift：数据工程
开发人员和 BI 分析师/数据科学家之间的传统界限开始消失，这催生了一种新职业：数据工程师。我将使用 Maxime Beauchemin 对 数据工程的定义：

“相对于以前存在的角色，数据工程领域是商业智能和数据仓库的超集，它带来了更多来自软件工程的元素，并且集成了‘大数据’分布式系统的操作”。

Spark 就是这样一种“大数据”分布式系统，而 Redshift 是数据仓库的一部分。数据工程是将两者结合起来的学科。

例如，我们看到越来越多的“代码”进入数据仓库。代码允许您编写、安排和监控输入到 Redshift 的数据管道，包括数据进入集群后对数据的转换。而且您很可能必须从 Spark 中提取数据。在数据仓库中使用“代码”的趋势意味着仅仅了解 SQL 已经不够了——您需要知道如何编写代码，因此“数据工程师”应运而生。


用例： Spark 旨在提高应用程序开发速度和性能，而 Redshift 则帮助更快、更高效地处理海量数据集。
数据架构： Spark用于实时流处理，而Redshift最适合非实时的批处理操作。
数据工程： Spark 和 Redshift 在“数据工程”领域联合起来，该领域涵盖数据仓库、软件工程和分布式系统。
对于您自己的大数据架构，您最终可能会同时使用 Spark 和 Redshift，每种方法都适用于其最适合的特定用例。这就是我们创建 Integrate.io 的原因，它可以帮助您准确了解 Redshift 数据 华侨欧洲电话号码数据 仓库中发生的事情 — 自动捕获元数据、跟踪依赖关系、监控随时间变化的趋势等等。立即与我们联系 以开始您的免费试用。

数据从本地移动到云、从云移动到地面、从云移动到云、从物理移动到虚拟等时……停机、安全漏洞和迁移失败等问题会浮现在您的脑海中。但这些迁移对于实现您的业务目标是必不可少的。同样重要的是迁移后的持续复制。如果您为了高可用性或灾难恢复目的而进行迁移和复制，您需要确保使用正确的工具。您不会对关键任务服务器和应用程序使用 DIY 方法，对吗？您的 BI 数据和工具也是如此。只有当您实时（或尽可能实时）运行查询和分析数据时，Looker、Chartio 和 Tableau 等分析工具才能发挥其全部潜力。零售、电子商务、电信、医疗保健等行业严重依赖 BI 来做出数据驱动的决策。零售商使用 BI 来个性化和增强客户体验。医疗保健提供商使用数据洞察来改善患者护理，识别有患慢性病风险的患者等。一家国际航空公司已经找到了一种使用认知服务来显著增强客户体验的方法。机组人员现在使用移动设备访问客户数据，包括过敏、食物和座位偏好以及以前的旅行历史，以提供真正个性化的服务。为了向客户表明它重视他们的信息，该航空公司推出了一项首创的客户洞察计划，通过向他们提供航空里程来奖励那些分享数据的人。由于几乎每个行业的业务决策都是由数据驱动的，确保您做出决策并指导公司的数据尽可能最新和新鲜难道不是明智之举吗？这不是您应该留给 DIY 和手动工作的事情。这应该是一个可以实时复制的自动化过程。您可以使用正确的工具来做到这一点。像 Amazon Redshift 这样的数据仓库可以存储您的大数据，并提供比传统技术高 10 倍的速度、成本效率和可扩展性。要了解有关 Redshift 优势的更多信息，这里有一个很棒的博客值得一读将数据传送到那里并持续复制数据，以便充分利用数据，您可以使用 Integrate.io。Integrate.io 会在几分钟内自动将您的数据持续安全地加载到 Amazon Redshift。凭借对许多数据源的支持、成熟的技术和实时复制速度，您可以专注于发现数据以做出业务决策，并将复制服。