ジョブスケジューリングHadoopとは何ですか?
ジョブスケジューリングHadoopとは何ですか?
Anonim

ジョブスケジューリング 。あなたが使用することができます ジョブスケジューリング MapReduceに優先順位を付ける 仕事 MapRクラスターで実行されるYARNアプリケーション。デフォルト ジョブスケジューラ フェアです スケジューラー 、これは、クラスターリソースをめぐって競合する複数のユーザーまたはグループが存在する実稼働環境向けに設計されています。

その中で、Hadoopスケジューラーとは何ですか?

プラグ可能なものの紹介 スケジューラー フレームワーク Hadoop は、分散ノードのセットを介したデータの高性能処理を可能にする汎用システムです。 2008年まで、 Hadoop シングルをサポート スケジューラー それはJobTrackerロジックと混ざり合っていました。

次に、ジョブスケジューリングをどのように行いますか? 以下にリストされている10のヒントから始めます。

  1. あなたのチームを知っています。
  2. あなたの最高の従業員の周りにシフトを構築します。
  3. チーム全体のコミュニケーション方法を確立します。
  4. スケジュールをすばやく取得します。
  5. 仕事の好みと休暇のリクエストを可能な限り尊重します。
  6. 従業員に作業スケジュールの一部を実行してもらいます。
  7. 従業員に自分の代理人を見つけてもらいましょう。

このように、Hadoopジョブをスケジュールするにはどうすればよいですか?

方法 ジョブをスケジュールするhadoop -Quora。最も簡単な方法は、コードをシェルスクリプトでラップして スケジュール cronとして 仕事 エッジノード(通常、送信するノード 仕事 )。ただし、通常はコードをスクリプトにパックして、 仕事 デバッグするのは難しいです。テストと保守。

ヤーンスケジューラはどのように機能しますか?

スケジューリング ResourceManager(RM)は、クラスター上のリソースを追跡し、それらを必要とするアプリケーションに割り当てます。 NS スケジューラー リソースの共有に関する組織のポリシーを尊重してこのマッチングを行うRMの部分です。その点に注意してください: キューを使用して、複数のテナント間でリソースを共有します。

トピックによって人気があります