論文の概要: LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

• arxiv url: http://arxiv.org/abs/2605.27570v1
• Date: Tue, 26 May 2026 18:43:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-29 01:06:09.7231
• Title: LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation
• Title（参考訳）: LaneRoPE:協調並列推論と生成のための位置符号化
• Authors: Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy,
• Abstract要約: 並列LLMテストタイムスケーリング技術(例えば、$N$のベスト)では、同じ入力プロンプトで条件付けられた$N>1$シーケンスを描画する必要がある。 これらの手法は、$N$世代の計算効率を生かしながら精度を高める。 生成時に$N>1$シーケンス間の協調と協調を可能にするLaneRoPEを提案する。
• 参考スコア（独自算出の注目度）: 13.857633466655328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parallel LLM test-time scaling techniques (e.g., best-of-$N$) require drawing $N>1$ sequences conditioned on the same input prompt. These methods boost accuracy while exploiting the computational efficiency of batching $N$ generations. However, each sequence in the batch is traditionally generated independently and hence does not reuse intermediate generations, computations, or observations from other sequences. In this paper, we propose LaneRoPE to enable coordination and collaboration among $N>1$ sequences at generation time. LaneRoPE involves two key ideas: (a) an inter-sequence attention mask to make sampling of sequences dependent on one another; and (b) a RoPE extension that injects positional information that captures relative positions between tokens, both within and outside a particular sequence. We evaluate our approach on mathematical reasoning tasks and find promising results: LaneRoPE enables collaboration among sequences, yielding additional accuracy gains under limited generated sequence length. Importantly, since LaneRoPE enables coordination with minimal changes to the underlying LLM architecture and introduces a negligible overhead at inference time, it is appealing to rapidly incorporate parallel reasoning into existing LLM inference pipelines.
• Abstract（参考訳）: 並列LLMテストタイムスケーリング技術(例えば、ベストオブN$)では、同じ入力プロンプトで条件付き$N>1$シーケンスを描画する必要がある。 これらの手法は、バッチ処理の計算効率を1世代あたり$N$の精度で向上させる。 しかし、バッチの各シーケンスは伝統的に独立して生成されるため、中間世代、計算、観察を他のシーケンスから再利用しない。 本稿では,N>1$シーケンス間の協調と協調を可能にするLaneRoPEを提案する。 LaneRoPEには2つの重要なアイデアがあります。 (a)配列間注目マスクであって、互いに依存する配列のサンプリングを行うもの b) 特定のシーケンス内および外部のトークン間の相対的な位置をキャプチャする位置情報を注入するRoPE拡張。 LaneRoPEは、列間の協調を可能にし、限られたシーケンス長で追加の精度のゲインを得る。 重要なことは、LaneRoPEは基盤となるLLMアーキテクチャの最小限の変更との調整を可能にし、推論時に無視可能なオーバーヘッドを導入するため、既存のLLM推論パイプラインに並列推論を迅速に組み込むことが魅力的である。

関連論文リスト

• $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
  $V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。 V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。 V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
  論文  参考訳（メタデータ） (2026-03-04T17:22:16Z)
• Rotate Both Ways: Time-and-Order RoPE for Generative Recommendation [9.269504890660306]
  ジェネレーティブレコメンダ(典型的にはトランスフォーマーベースの自己回帰モデル)は、ユーザのインタラクション履歴から次の項目やアクションを予測する。 適切な設計をすれば、RoPEベースのアプローチは、時間的およびシーケンシャルな情報を共同でモデル化するより強力な代替手段になり得る、と我々は主張する。 アーリーフュージョン、スプリット・バイ・ダイム、スプリット・バイ・ヘッドの3つのインスタンスを提示する。
  論文  参考訳（メタデータ） (2025-10-23T11:44:56Z)
• Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
  推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。 これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。 現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
  論文  参考訳（メタデータ） (2025-10-01T17:08:59Z)
• Hybrid Deep Searcher: Integrating Parallel and Sequential Search Reasoning [57.78245296980122]
  本稿では,自然質問から自動生成されるデータセットであるHDS-QA(Hybrid Deep Search QA)を紹介する。 並列化可能な独立サブクエリ(同時に実行可能)と逐次依存サブクエリ(ステップバイステップの解決を必要とする)を組み合わせたハイブリッドホップ質問を含む。 モデルの名称はHybridDeepSearcherで、複数のベンチマークで最先端のベースラインを上回っています。
  論文  参考訳（メタデータ） (2025-08-26T15:15:17Z)
• Fast Gradient Computation for RoPE Attention in Almost Linear Time [27.28314860714307]
  我々は,RoPEに基づく有界エントリ下での逆方向の計算のための,最初のニアリニア時間アルゴリズムを開発した。 我々のアプローチは、高速なRoPEアテンション計算の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2024-12-23T06:20:22Z)
• A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
  大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。 HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。 HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
  論文  参考訳（メタデータ） (2024-06-14T08:32:45Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding [12.449023969197684]
  ProPDは動的トークンツリーのプルーニングと生成に基づく効率的な並列デコードフレームワークである。 ProPD は既存の復号アルゴリズムを 1.1-3.2x で一貫的に上回っている。
  論文  参考訳（メタデータ） (2024-02-21T02:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。