如果单个 EMR 步骤失败会发生什么情况?
我们不想因为集群没有到达最后一步并正常关闭而让它处于空闲状态。
我们想要的是,通过为提交的每个步骤指定以下信息来定义步骤失败时的行为:
“actionOnFailure”:“TERMINATE_CLUSTER”
通过采取所有这些措施,我们可以 台湾号码 此外,还可以考虑实施“按需基础设施”原则。

按需扩展
如何实现按需扩展原则?
通过使用 EMR 的内置自动扩展功能。
将自动扩展策略附加到 EMR 集群,使其能够根据需要进行扩展。
自动扩展策略至少应包含两条规则,但可以包含多条规则。一条规则应指示集群何时扩展,另一条规则应指示集群何时收缩。
扩展规则可能是这样的:“如果可用集群内存变得低于 15% 并且保持这种状态超过 5 分钟,则该集群应该将其一个任务实例组增加 5 个实例”。
规则中的尺度可能是这样的:“如果可用集群内存超过 75%,并且保持这种状态超过 3 分钟,则该集群应该将相同的任务实例组缩小 3 个实例”。
下面可以看到EMR 集群的适当自动扩展策略定义。