論文の概要: Relaxed Scheduling for Scalable Belief Propagation

• arxiv url: http://arxiv.org/abs/2002.11505v2
• Date: Mon, 18 Jan 2021 15:54:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:27:10.684621
• Title: Relaxed Scheduling for Scalable Belief Propagation
• Title（参考訳）: スケーラブルな信念伝播のための緩和スケジューリング
• Authors: Vitaly Aksenov and Dan Alistarh and Janne H. Korhonen
• Abstract要約: 我々は,グラフィカルモデルに基づく推論のキーとなる機械学習タスクに対して,効率的な並列アルゴリズムに焦点をあてる。 この文脈で、緩和されたスケーラブルなスケジューラをどのように活用するかを示します。 提案手法は,拡張性および壁面収束時間の両方において,従来の並列信条伝搬実装よりも優れていた。
• 参考スコア（独自算出の注目度）: 27.226933626287305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to leverage large-scale hardware parallelism has been one of the key enablers of the accelerated recent progress in machine learning. Consequently, there has been considerable effort invested into developing efficient parallel variants of classic machine learning algorithms. However, despite the wealth of knowledge on parallelization, some classic machine learning algorithms often prove hard to parallelize efficiently while maintaining convergence. In this paper, we focus on efficient parallel algorithms for the key machine learning task of inference on graphical models, in particular on the fundamental belief propagation algorithm. We address the challenge of efficiently parallelizing this classic paradigm by showing how to leverage scalable relaxed schedulers in this context. We present an extensive empirical study, showing that our approach outperforms previous parallel belief propagation implementations both in terms of scalability and in terms of wall-clock convergence time, on a range of practical applications.
• Abstract（参考訳）: 大規模ハードウェア並列性を活用する能力は、機械学習の急速な進歩の重要な実現要因のひとつだ。 その結果、古典的機械学習アルゴリズムの効率的な並列変種の開発に多大な労力が注がれた。 しかし、並列化に関する豊富な知識にもかかわらず、いくつかの古典的な機械学習アルゴリズムは収束を維持しながら効率的に並列化するのが難しいことがしばしばある。 本稿では,グラフィカルモデルに基づく推論の鍵となる機械学習タスクに対する効率的な並列アルゴリズム,特に基本的な信念伝播アルゴリズムに着目した。 この文脈でスケーラブルな緩和スケジューラをどのように活用するかを示すことによって、この古典的なパラダイムを効率的に並列化するという課題に対処する。 本稿では,本手法が,拡張性および壁時計収束時間の観点から,様々な実用的応用において,従来の並列信念伝達実装よりも優れていることを示す,広範な実証研究を行う。

関連論文リスト

• Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey [29.275928499337734]
  深層強化学習は、人工知能の分野で劇的なブレークスルーをもたらした。 深層強化学習のためのロールアウト経験データとニューラルネットワークのサイズが増大するにつれて、トレーニングプロセスの処理と並列分散コンピューティングによる時間消費の削減が、緊急かつ必須の願望となっている。 我々は,並列・分散コンピューティングに基づく深層強化学習のための訓練促進手法について,広範かつ徹底的な研究を行う。
  論文  参考訳（メタデータ） (2024-11-08T14:55:32Z)
• Offline reinforcement learning for job-shop scheduling problems [1.3927943269211593]
  本稿では,複雑な制約を伴う最適化問題に対して,新しいオフラインRL法を提案する。 我々のアプローチは、エッジ属性のアクションを符号化し、専門家ソリューションの模倣と期待される報酬のバランスをとる。 本手法がジョブショップスケジューリングおよびフレキシブルジョブショップスケジューリングベンチマークに与える影響を実証する。
  論文  参考訳（メタデータ） (2024-10-21T07:33:42Z)
• Learning to Parallelize with OpenMP by Augmented Heterogeneous AST Representation [7.750212995537728]
  コードに異質な拡張抽象構文木(Augmented-AST)表現を利用するグラフベースの新しい学習手法Graph2Parを提案する。 我々は18598並列化可能なOMP_Serialデータセットと13972非並列化可能なループを作成し、機械学習モデルをトレーニングする。 提案手法は,85%の精度で並列化可能なコード領域検出の精度を実現し,最先端のトークンベース機械学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-09T21:57:15Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• Parallel Training of Deep Networks with Local Updates [84.30918922367442]
  ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。 我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
  論文  参考訳（メタデータ） (2020-12-07T16:38:45Z)
• Geometric Deep Reinforcement Learning for Dynamic DAG Scheduling [8.14784681248878]
  本稿では,現実的なスケジューリング問題を解決するための強化学習手法を提案する。 高性能コンピューティングコミュニティにおいて一般的に実行されるアルゴリズムであるColesky Factorizationに適用する。 我々のアルゴリズムは,アクター・クリティカル・アルゴリズム (A2C) と組み合わせてグラフニューラルネットワークを用いて,問題の適応表現をオンザフライで構築する。
  論文  参考訳（メタデータ） (2020-11-09T10:57:21Z)
• Randomized Block-Diagonal Preconditioning for Parallel Learning [0.0]
  本研究では,プレコンディショニング行列がブロック対角形を持つ事前条件付き勾配に基づく最適化手法について検討する。 本研究の主な貢献は,これらの手法の収束性がランダム化手法によって著しく向上できることを実証することである。
  論文  参考訳（メタデータ） (2020-06-24T10:12:36Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。