Fugu-MT 論文翻訳(概要): Parallel Algorithms Align with Neural Execution

論文の概要: Parallel Algorithms Align with Neural Execution

arxiv url: http://arxiv.org/abs/2307.04049v2
Date: Wed, 3 Jan 2024 12:34:37 GMT
ステータス: 処理完了
システム内更新日: 2024-01-04 16:56:46.053661
Title: Parallel Algorithms Align with Neural Execution
Title（参考訳）: 並列アルゴリズムとニューラルネットワークの実行
Authors: Valerie Engelmayer, Dobrik Georgiev, Petar Veli\v{c}kovi\'c
Abstract要約: しかし並列アルゴリズムは計算能力を最大限に活用できるため、実行すべきレイヤは少ない。このことは、CLRSフレームワーク上のシーケンシャルなコンポーネントに対して、検索、ソート、および強力な接続されたコンポーネントの並列実装を比較する際に観察されるように、トレーニング時間を劇的に短縮します。
参考スコア（独自算出の注目度）: 7.535219325248997
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural algorithmic reasoners are parallel processors. Teaching them sequential algorithms contradicts this nature, rendering a significant share of their computations redundant. Parallel algorithms however may exploit their full computational power, therefore requiring fewer layers to be executed. This drastically reduces training times, as we observe when comparing parallel implementations of searching, sorting and finding strongly connected components to their sequential counterparts on the CLRS framework. Additionally, parallel versions achieve (often strongly) superior predictive performance.
Abstract（参考訳）: ニューラルアルゴリズム推論は並列プロセッサである。シーケンシャルアルゴリズムを教えることは、この性質に矛盾し、計算のかなりの部分を冗長にする。しかし、並列アルゴリズムは計算能力をフル活用し、より少ない層の実行を必要とする。これは、clrsフレームワーク上のシーケンシャルなコンポーネントに対して、検索、ソート、および強結合コンポーネントの並列実装を比較するときに観察されるように、トレーニング時間を劇的に削減する。さらに、並列バージョンは(しばしば強く)優れた予測性能を達成する。

関連論文リスト

Optimal Parallelization of Boosting [10.985323882432086]
Boostingの並列複雑性に関する最近の研究は、トレーニングラウンド数$p$とラウンドあたりの並列処理総数$t$とのトレードオフに関して、強い低い境界を確立している。これらの進歩にもかかわらず、理論的な下界とこれらのアルゴリズムのトレードオフ空間の多くにおける性能の間には大きなギャップが残っている。本研究では,弱強学習者の並列的複雑性に対する改善された下位境界と,これらの境界値が対数係数までの範囲で比較可能な並列ブースティングアルゴリズムの両方を提供することで,このギャップを解消する。
論文参考訳（メタデータ） (2024-08-29T15:56:22Z)
Parallel Training of GRU Networks with a Multi-Grid Solver for Long Sequences [1.9798034349981162]
本稿では,GRU(Gated Recurrent Unit)ネットワークのための並列学習手法を提案する。 MGRITはシーケンスを複数の短いサブシーケンスに分割し、異なるプロセッサ上のサブシーケンスを並列に訓練する。 HMDB51データセットにおいて、各ビデオが画像シーケンスである実験結果から、新しい並列トレーニングスキームがシリアルアプローチよりも最大6.5$times$スピードアップを達成することを示した。
論文参考訳（メタデータ） (2022-03-07T11:32:44Z)
Parallelizing Contextual Linear Bandits [82.65675585004448]
並列な)コンテキスト線形バンディットアルゴリズムの族を提示し、その遺残はそれらの完全シーケンシャルなアルゴリズムとほぼ同一である。また,これらの並列アルゴリズムについて,材料発見や生物配列設計の問題など,いくつかの領域で実証評価を行った。
論文参考訳（メタデータ） (2021-05-21T22:22:02Z)
Fast Parallel Algorithms for Euclidean Minimum Spanning Tree and Hierarchical Spatial Clustering [6.4805900740861]
HDBSCAN$*$のための私達のアルゴリズムの仕事そしてスペースを減らすために十分分離の新しい概念を導入します。我々のアルゴリズムは理論的に効率的であることを示す: 彼らは逐次対応の作業(操作数)と多対数深さ(並列時間)を持っている。 48コアマシンを用いた大規模実世界および合成データセットの実験により、我々の最速のアルゴリズムは11.13-55.89x、既存の並列アルゴリズムを少なくとも桁違いに上回った。
論文参考訳（メタデータ） (2021-04-02T16:05:00Z)
Temporal Parallelization of Inference in Hidden Markov Models [0.0]
本稿では隠れマルコフモデル(hmms)における推論の並列化アルゴリズムを提案する。パラレル・バックワード型フィルタ・スムージングアルゴリズムとパラレル・ビタビ型max-a-posteriori(MAP)を提案する。高並列処理ユニット(GPU)における提案手法の性能と古典的手法とを実証的に比較する。
論文参考訳（メタデータ） (2021-02-10T21:26:09Z)
Parallel Training of Deep Networks with Local Updates [84.30918922367442]
ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
論文参考訳（メタデータ） (2020-12-07T16:38:45Z)
Coded Distributed Computing with Partial Recovery [56.08535873173518]
部分回復型符号化計算(CCPR)と呼ばれる新しい符号化行列ベクトル乗法を導入する。 CCPRは計算時間と復号化の複雑さを減らし、精度と計算速度のトレードオフを可能にする。次に、この手法をより一般的な計算タスクの分散実装に拡張し、部分的回復を伴う符号化通信方式を提案する。
論文参考訳（メタデータ） (2020-07-04T21:34:49Z)
On Effective Parallelization of Monte Carlo Tree Search [51.15940034629022]
モンテカルロ木探索(MCTS)は、探索木を構築するためにかなりの数のロールアウトを必要とするため、計算コストがかかる。効果的な並列MCTSアルゴリズムを設計する方法は、体系的に研究されておらず、まだよく分かっていない。我々は,より効率的な並列MCTSアルゴリズムの設計に,提案する必要条件をどのように適用できるかを実証する。
論文参考訳（メタデータ） (2020-06-15T21:36:00Z)
Minimal Filtering Algorithms for Convolutional Neural Networks [82.24592140096622]
我々は,M=3,5,7,9,11の基本的なフィルタリング操作を実装するための完全並列ハードウェア指向アルゴリズムを開発した。各ケースにおける提案アルゴリズムの完全な並列ハードウェア実装は、組込み乗算器の数を約30%削減する。
論文参考訳（メタデータ） (2020-04-12T13:18:25Z)
Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。