Наконец вам нужно будет соединить

[mdraufk.ha.nd]

все эти узлы вместе, чтобы завершить кластер Apache Spark.

В целом создание и настройка нового кластера Apache Spark может занять несколько часов.

Управление кластером
Но как только вы запустите и запустите свой собственный Данные rcs кластер, ваша работа еще далека от завершения. Ваш кластер работает хорошо? Все ли узлы исправны?

А вот и вторая проблема: преодоление трудностей управления кластером!

Вам необходимо будет вручную проверить работоспособность всех ваших узлов или, что предпочтительнее, установить инструменты мониторинга, которые сообщат о любых проблемах, с которыми могут столкнуться узлы.

Достаточно ли на узлах дискового пространства для новых задач? Одна из ключевых проблем, с которой сталкиваются кластеры Apache Spark, заключается в том, что некоторые задачи записывают много данных в локальное дисковое пространство узлов, не удаляя их. Дисковое пространство является распространенной проблемой, и, как вы знаете, нехватка дискового пространства исключает возможность запуска большего количества задач.