
ジョブスケジューリング 。あなたが使用することができます ジョブスケジューリング MapReduceに優先順位を付ける 仕事 MapRクラスターで実行されるYARNアプリケーション。デフォルト ジョブスケジューラ フェアです スケジューラー 、これは、クラスターリソースをめぐって競合する複数のユーザーまたはグループが存在する実稼働環境向けに設計されています。
その中で、Hadoopスケジューラーとは何ですか?
プラグ可能なものの紹介 スケジューラー フレームワーク Hadoop は、分散ノードのセットを介したデータの高性能処理を可能にする汎用システムです。 2008年まで、 Hadoop シングルをサポート スケジューラー それはJobTrackerロジックと混ざり合っていました。
次に、ジョブスケジューリングをどのように行いますか? 以下にリストされている10のヒントから始めます。
- あなたのチームを知っています。
- あなたの最高の従業員の周りにシフトを構築します。
- チーム全体のコミュニケーション方法を確立します。
- スケジュールをすばやく取得します。
- 仕事の好みと休暇のリクエストを可能な限り尊重します。
- 従業員に作業スケジュールの一部を実行してもらいます。
- 従業員に自分の代理人を見つけてもらいましょう。
このように、Hadoopジョブをスケジュールするにはどうすればよいですか?
方法 ジョブをスケジュールする の hadoop -Quora。最も簡単な方法は、コードをシェルスクリプトでラップして スケジュール cronとして 仕事 エッジノード(通常、送信するノード 仕事 )。ただし、通常はコードをスクリプトにパックして、 仕事 デバッグするのは難しいです。テストと保守。
ヤーンスケジューラはどのように機能しますか?
スケジューリング の 糸 ResourceManager(RM)は、クラスター上のリソースを追跡し、それらを必要とするアプリケーションに割り当てます。 NS スケジューラー リソースの共有に関する組織のポリシーを尊重してこのマッチングを行うRMの部分です。その点に注意してください: 糸 キューを使用して、複数のテナント間でリソースを共有します。