論文の概要: LACE: Lattice Attention for Cross-thread Exploration

• arxiv url: http://arxiv.org/abs/2604.15529v1
• Date: Thu, 16 Apr 2026 21:19:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.653012
• Title: LACE: Lattice Attention for Cross-thread Exploration
• Title（参考訳）: LACE: クロススレッド探索のための格子アテンション
• Authors: Yang Li, Zirui Zhang, Yang Liu, Chengzhi Mao,
• Abstract要約: LACEは独立した試行の集合から協調された並列プロセスへと推論を変換するフレームワークである。 LACEは、同時推論パスで中間的な洞察を共有し、推論中に相互に修正することを可能にする。 実験により、この統一探索は標準並列探索よりも大幅に優れており、推論精度が7点以上向上していることが示された。
• 参考スコア（独自算出の注目度）: 19.89703144721346
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current large language models reason in isolation. Although it is common to sample multiple reasoning paths in parallel, these trajectories do not interact, and often fail in the same redundant ways. We introduce LACE, a framework that transforms reasoning from a collection of independent trials into a coordinated, parallel process. By repurposing the model architecture to enable cross-thread attention, LACE allows concurrent reasoning paths to share intermediate insights and correct one another during inference. A central challenge is the absence of natural training data that exhibits such collaborative behavior. We address this gap with a synthetic data pipeline that explicitly teaches models to communicate and error-correct across threads. Experiments show that this unified exploration substantially outperforms standard parallel search, improving reasoning accuracy by over 7 points. Our results suggest that large language models can be more effective when parallel reasoning paths are allowed to interact.
• Abstract（参考訳）: 現在の大規模言語モデルは孤立している。 複数の推論経路を並列にサンプリングすることは一般的であるが、これらの軌道は相互作用せず、しばしば同じ冗長な方法で失敗する。 LACEは独立した試行の集合から協調された並列プロセスへと推論を変換するフレームワークである。 LACEはモデルアーキテクチャを再構築してクロススレッドの注意を喚起することで、中間的な洞察を共有し、推論中に相互に修正する並行推論パスを可能にします。 中心的な課題は、このような協調行動を示す自然なトレーニングデータがないことである。 このギャップを、スレッド間の通信とエラー修正をモデルに明示的に教える合成データパイプラインで解決する。 実験により、この統一探索は標準並列探索よりも大幅に優れており、推論精度が7点以上向上していることが示された。 この結果から,並列推論経路の相互作用が許される場合,大規模言語モデルの方が効果的であることが示唆された。

関連論文リスト

• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Consistency Is Not Always Correct: Towards Understanding the Role of Exploration in Post-Training Reasoning [75.79451512757844]
  基礎モデルは幅広い知識を示すが、タスク固有の推論は限定的である。 RLVRと推論スケーリングは、RLVRや推論スケーリングのようなトレーニング後の戦略を動機付けます。 RLVRはスキューズ効果を誘発し,推論エントロピーを減少させ,正しい経路を忘れることを示した。
  論文  参考訳（メタデータ） (2025-11-10T18:25:26Z)
• A Survey on Parallel Reasoning [58.66122129692264]
  まず、並列推論の形式的定義を示し、その区別をChain-of-Thoughtのような関連する概念と明確にする。 次に、非対話的推論、対話的推論、効率を重視した復号戦略を含む、新しい分類法に基づく高度な手法を編成し、議論する。 並列推論の中核的な課題を強調し,今後の研究の方向性を示唆する。
  論文  参考訳（メタデータ） (2025-10-14T05:42:19Z)
• Parallel-R1: Towards Parallel Thinking via Reinforcement Learning [65.68667585027232]
  並列思考は、大規模言語モデルの推論能力を高めるための新しいアプローチである。 並列思考行動を可能にする最初の強化学習フレームワークである textbfParallel-R1 を提案する。 本フレームワークでは,並列思考のトレーニングにおいて,コールドスタート問題に明示的に対処する漸進的なカリキュラムを採用している。
  論文  参考訳（メタデータ） (2025-09-09T17:59:35Z)
• Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens [23.326813303795692]
  CoT(Chain-of-Thought)プロンプトにより,様々なタスクにおいてLLM(Large Language Model)のパフォーマンスが向上することが示されている。 しかしながら、いくつかの初期の発見は、CoT推論が見かけよりも表面的であることを示唆している。
  論文  参考訳（メタデータ） (2025-08-02T04:37:28Z)
• Why think step by step? Reasoning emerges from the locality of experience [35.99870462573641]
  思考の連鎖推論が言語モデルでどのように有用であるかを考察する。 学習データが重複する変数の局所的クラスタで構成される場合,推論が有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-07T21:04:03Z)
• Unification of HDP and LDA Models for Optimal Topic Clustering of Subject Specific Question Banks [55.41644538483948]
  オンラインコースの人気が高まると、学者向けのコース関連クエリの数が増加することになる。 個々の質問に答えるのに費やす時間を短縮するために、それらをクラスタリングするのは理想的な選択です。 階層ディリクレプロセスを用いて、LDAモデルの実行に対して最適なトピック番号を入力します。
  論文  参考訳（メタデータ） (2020-10-04T18:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。