Fugu-MT 論文翻訳(概要): LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

論文の概要: LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

arxiv url: http://arxiv.org/abs/2605.27570v1
Date: Tue, 26 May 2026 18:43:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-29 01:06:09.7231
Title: LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation
Title（参考訳）: LaneRoPE:協調並列推論と生成のための位置符号化
Abstract要約: 並列LLMテストタイムスケーリング技術(例えば、$N$のベスト)では、同じ入力プロンプトで条件付けられた$N>1$シーケンスを描画する必要がある。これらの手法は、$N$世代の計算効率を生かしながら精度を高める。生成時に$N>1$シーケンス間の協調と協調を可能にするLaneRoPEを提案する。
参考スコア（独自算出の注目度）: 13.857633466655328
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Parallel LLM test-time scaling techniques (e.g., best-of-$N$) require drawing $N>1$ sequences conditioned on the same input prompt. These methods boost accuracy while exploiting the computational efficiency of batching $N$ generations. However, each sequence in the batch is traditionally generated independently and hence does not reuse intermediate generations, computations, or observations from other sequences. In this paper, we propose LaneRoPE to enable coordination and collaboration among $N>1$ sequences at generation time. LaneRoPE involves two key ideas: (a) an inter-sequence attention mask to make sampling of sequences dependent on one another; and (b) a RoPE extension that injects positional information that captures relative positions between tokens, both within and outside a particular sequence. We evaluate our approach on mathematical reasoning tasks and find promising results: LaneRoPE enables collaboration among sequences, yielding additional accuracy gains under limited generated sequence length. Importantly, since LaneRoPE enables coordination with minimal changes to the underlying LLM architecture and introduces a negligible overhead at inference time, it is appealing to rapidly incorporate parallel reasoning into existing LLM inference pipelines.
Abstract（参考訳）: 並列LLMテストタイムスケーリング技術(例えば、ベストオブN$)では、同じ入力プロンプトで条件付き$N>1$シーケンスを描画する必要がある。これらの手法は、バッチ処理の計算効率を1世代あたり$N$の精度で向上させる。しかし、バッチの各シーケンスは伝統的に独立して生成されるため、中間世代、計算、観察を他のシーケンスから再利用しない。本稿では,N>1$シーケンス間の協調と協調を可能にするLaneRoPEを提案する。 LaneRoPEには2つの重要なアイデアがあります。 (a)配列間注目マスクであって、互いに依存する配列のサンプリングを行うもの b) 特定のシーケンス内および外部のトークン間の相対的な位置をキャプチャする位置情報を注入するRoPE拡張。 LaneRoPEは、列間の協調を可能にし、限られたシーケンス長で追加の精度のゲインを得る。重要なことは、LaneRoPEは基盤となるLLMアーキテクチャの最小限の変更との調整を可能にし、推論時に無視可能なオーバーヘッドを導入するため、既存のLLM推論パイプラインに並列推論を迅速に組み込むことが魅力的である。

関連論文リスト

ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding [60.34475274870224]
ECHOは、LLM層間の機能的非対称性を利用する階層的なデュアルループフレームワークである。インナーループ内では、アーリーレイヤのボーナスロジットは、最小限のコストで、高速で多段階のドラフトツリー探索を駆動する。 ECHOは平均的なトークンを著しく増加させ、2.4$times$2.9$times$スピードアップを達成する。
論文参考訳（メタデータ） (2026-09-15T14:21:33Z)
OSDAG: Online Scheduling for Efficient Multi-Robot Collaboration [2.2726869886741383]
本稿では, LLMに基づくタスク推論と, Directed Acyclic Graph表現と制約対応オンラインスケジューリングを統合した新しいフレームワークOSDAGを提案する。 5つのベンチマークシナリオの実験では、OSDAGは対話ベースの手法に比べて5～15倍高速な推論時間を実現し、シーケンシャルベースラインよりも最大38%のペースパンを削減し、競争的な成功率を維持している。
論文参考訳（メタデータ） (2026-06-13T11:22:34Z)
$V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
$V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。 V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。 V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
論文参考訳（メタデータ） (2026-03-04T17:22:16Z)
LoPA: Scaling dLLM Inference via Lookahead Parallel Decoding [53.46134917935135]
Lookahead PArallel Decoding LoPAは、訓練不要のプラグイン・アンド・プレイアルゴリズムで、優れたToken Filling Order(TFO)を識別する。 LoPAは並列ブランチを通じて、異なる候補TFOを同時に探索し、ブランチの信頼性に基づいて、将来の並列性に対して最も高い可能性を持つものを選択する。特に,LoPAはD2F-DreamのTPFをGSM8K上で10.1に向上させ,Dreamベースラインよりも優れた性能を維持した。
論文参考訳（メタデータ） (2025-12-18T06:22:01Z)
Rotate Both Ways: Time-and-Order RoPE for Generative Recommendation [9.269504890660306]
ジェネレーティブレコメンダ(典型的にはトランスフォーマーベースの自己回帰モデル)は、ユーザのインタラクション履歴から次の項目やアクションを予測する。適切な設計をすれば、RoPEベースのアプローチは、時間的およびシーケンシャルな情報を共同でモデル化するより強力な代替手段になり得る、と我々は主張する。アーリーフュージョン、スプリット・バイ・ダイム、スプリット・バイ・ヘッドの3つのインスタンスを提示する。
論文参考訳（メタデータ） (2025-10-23T11:44:56Z)
Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
論文参考訳（メタデータ） (2025-10-01T17:08:59Z)
Hybrid Deep Searcher: Integrating Parallel and Sequential Search Reasoning [57.78245296980122]
本稿では,自然質問から自動生成されるデータセットであるHDS-QA(Hybrid Deep Search QA)を紹介する。並列化可能な独立サブクエリ(同時に実行可能)と逐次依存サブクエリ(ステップバイステップの解決を必要とする)を組み合わせたハイブリッドホップ質問を含む。モデルの名称はHybridDeepSearcherで、複数のベンチマークで最先端のベースラインを上回っています。
論文参考訳（メタデータ） (2025-08-26T15:15:17Z)
Fast Gradient Computation for RoPE Attention in Almost Linear Time [27.28314860714307]
我々は,RoPEに基づく有界エントリ下での逆方向の計算のための,最初のニアリニア時間アルゴリズムを開発した。我々のアプローチは、高速なRoPEアテンション計算の最近の進歩に基づいている。
論文参考訳（メタデータ） (2024-12-23T06:20:22Z)
A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。 HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。 HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
論文参考訳（メタデータ） (2024-06-14T08:32:45Z)
Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文参考訳（メタデータ） (2024-05-29T17:55:03Z)
ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding [12.449023969197684]
ProPDは動的トークンツリーのプルーニングと生成に基づく効率的な並列デコードフレームワークである。 ProPD は既存の復号アルゴリズムを 1.1-3.2x で一貫的に上回っている。
論文参考訳（メタデータ） (2024-02-21T02:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。