Fugu-MT 論文翻訳(概要): Accelerate Parallelizable Reasoning via Parallel Decoding within One Sequence

論文の概要: Accelerate Parallelizable Reasoning via Parallel Decoding within One Sequence

arxiv url: http://arxiv.org/abs/2503.20533v1
Date: Wed, 26 Mar 2025 13:28:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-27 13:20:58.275979
Title: Accelerate Parallelizable Reasoning via Parallel Decoding within One Sequence
Title（参考訳）: 1つのシーケンス内での並列デコードによる並列化可能な推論の高速化
Authors: Yijiong Yu,
Abstract要約: 推論プロセスを加速するために、特定のタスクの固有の並列化性を活用します。実験結果から,提案手法は復号時間において100%以上の高速化を実現し,精度は基本的に維持できることがわかった。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Recent advances in reasoning models have demonstrated significant improvements in accuracy, particularly for complex tasks such as mathematical reasoning, by employing detailed and comprehensive reasoning processes. However, generating these lengthy reasoning sequences is computationally expensive and time-consuming. To address this inefficiency, we leverage the inherent parallelizability of certain tasks to accelerate the reasoning process. Specifically, when multiple parallel reasoning branches exist, we decode multiple tokens per step using a specialized attention mask, processing them within a single sequence. Experimental results show that our method achieves over 100% speedup in decoding time while basically maintaining accuracy.
Abstract（参考訳）: 推論モデルの最近の進歩は、特に数学的推論のような複雑なタスクにおいて、詳細で包括的な推論プロセスを用いることで、精度を著しく向上させた。しかし、これらの長い推論シーケンスを生成するのは計算コストが高く、時間がかかる。この非効率性に対処するために、あるタスクの固有の並列化性を活用して推論プロセスを加速する。具体的には、複数の並列推論ブランチが存在する場合、特別な注意マスクを使用してステップ毎に複数のトークンをデコードし、それらを単一のシーケンスで処理する。実験結果から,提案手法は復号時間において100%以上の高速化を実現し,精度は基本的に維持できることがわかった。

関連論文リスト

Cerberus: Efficient Inference with Adaptive Parallel Decoding and Sequential Knowledge Enhancement [12.40683763019276]
大規模言語モデル(LLM)は自動回帰復号化に依存するため、推論速度のボトルネックに直面していることが多い。既存の並列デコーディングフレームワークにおける2つの重要な問題を特定しました。我々は適応並列デコーディングフレームワークであるCerberusを提案する。
論文参考訳（メタデータ） (2024-10-17T08:55:18Z)
Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文参考訳（メタデータ） (2024-04-18T09:17:06Z)
ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding [12.449023969197684]
ProPDは動的トークンツリーのプルーニングと生成に基づく効率的な並列デコードフレームワークである。 ProPD は既存の復号アルゴリズムを 1.1-3.2x で一貫的に上回っている。
論文参考訳（メタデータ） (2024-02-21T02:51:07Z)
Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
論文参考訳（メタデータ） (2023-11-14T15:56:18Z)
SPEED: Speculative Pipelined Execution for Efficient Decoding [35.45955948053644]
本稿では,現在のトークンと並行して複数の将来トークンを投機的に実行することで,推論効率を向上させるSPEEDを提案する。パラメータ共有を使用するTransformerデコーダでは、並列に実行されるトークンのメモリ操作を償却することができる。モデル精度に対する遅延低減の観点から,本手法の有効性を実証し,パラメータ共有によるより深いデコーダのトレーニングを最小限のランタイムオーバーヘッドで行う方法を示した。
論文参考訳（メタデータ） (2023-10-18T16:07:01Z)
Tractable Bounding of Counterfactual Queries by Knowledge Compilation [51.47174989680976]
本稿では, パール構造因果モデルにおいて, 因果関係などの部分的特定可能なクエリのバウンダリングの問題について議論する。最近提案された反復EMスキームは初期化パラメータをサンプリングしてそれらの境界を内部近似する。シンボルパラメータを実際の値に置き換えた回路構造を,単一のシンボル知識コンパイルによって得られることを示す。
論文参考訳（メタデータ） (2023-10-05T07:10:40Z)
Parallel Algorithms Align with Neural Execution [7.535219325248997]
しかし並列アルゴリズムは計算能力を最大限に活用できるため、実行すべきレイヤは少ない。このことは、CLRSフレームワーク上のシーケンシャルなコンポーネントに対して、検索、ソート、および強力な接続されたコンポーネントの並列実装を比較する際に観察されるように、トレーニング時間を劇的に短縮します。
論文参考訳（メタデータ） (2023-07-08T21:28:20Z)
Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large Language Models [74.95486528482327]
コードプロンプト(code prompting)は、ゼロショットバージョンと少数ショットバージョンの両方を持ち、中間ステップとしてコードをトリガーするニューラルシンボルプロンプトである。我々は,記号的推論と算術的推論を含む7つの広く使用されているベンチマーク実験を行った。
論文参考訳（メタデータ） (2023-05-29T15:14:09Z)
Fast and parallel decoding for transducer [25.510837666148024]
本研究では,トランスデューサ損失の制約付きバージョンを導入し,シーケンス間のモノトニックアライメントを厳密に学習する。また、時間毎に出力できるシンボルの数を制限することで、標準の欲求探索とビーム探索アルゴリズムを改善した。
論文参考訳（メタデータ） (2022-10-31T07:46:10Z)
In Defense of the Unitary Scalarization for Deep Multi-Task Learning [121.76421174107463]
本稿では,多くの特殊マルチタスクを正規化の形式として解釈できることを示唆する理論解析について述べる。標準正規化と安定化技術と組み合わせると、ユニタリスカラー化は複雑なマルチタスクの性能にマッチし、改善することを示す。
論文参考訳（メタデータ） (2022-01-11T18:44:17Z)
Coded Distributed Computing with Partial Recovery [56.08535873173518]
部分回復型符号化計算(CCPR)と呼ばれる新しい符号化行列ベクトル乗法を導入する。 CCPRは計算時間と復号化の複雑さを減らし、精度と計算速度のトレードオフを可能にする。次に、この手法をより一般的な計算タスクの分散実装に拡張し、部分的回復を伴う符号化通信方式を提案する。
論文参考訳（メタデータ） (2020-07-04T21:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。