Spark 模式
运行 Spark 作业的一种方法。Talend Spark 作业可在下列模式下运行:
- 本地:Talend Studio 会在运行时自行构建 Spark 环境,以便在 Talend Studio 中本地运行作业。
- 独立:Talend Studio 连接到启用 Spark 的集群,以便从此集群运行作业。
- YARN 客户端:Talend Studio 运行 Spark 驱动程序以编排该作业的运行方式,然后将该编排发送到给定 Hadoop 集群的 YARN 服务,以便此 YARN 服务的资源管理器能够相应地请求执行资源。
- YARN 集群:Talend Studio 提交作业并从 YARN 和 ApplicationMaster 收集作业的执行信息。Spark 驱动程序在集群上运行,并且可以独立于 Talend Studio 运行。