論文の概要: Diversity Combining for Multi-Path LLM Reasoning
- arxiv url: http://arxiv.org/abs/2609.38829v1
- Date: Wed, 30 Sep 2026 02:52:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.056708
- Title: Diversity Combining for Multi-Path LLM Reasoning
- Title(参考訳): マルチパスLLM推論のための多様性結合
- Abstract要約: 無線通信の多様性結合問題としてマルチパス推論を定式化する。
我々は4パスのパイロットを使って$K*$を選択し、MV@$K=32$の精度を9,6$-$103%のMV@$K=32$で保持するAdaptive-Kルールを導出する。
- 参考スコア(独自算出の注目度): 18.624173885690308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-path reasoning methods such as self-consistency (SC) sample $K$ reasoning paths and choose the most frequent answer. However, their gains quickly plateau as $K$ increases, and existing methods do not predict when this saturation will occur. We formalize multi-path LLM reasoning as a diversity combining problem from wireless communications: each path is a noisy channel observation, and the pairwise correlation of path correctness caps the design-effect effective sample size of the vote at a finite ceiling. Generalized least squares (GLS) analysis shows that, under exchangeability, the optimal symmetric linear combiner of latent embeddings is uniform, supporting majority vote as the natural default in standard SC while leaving room for weighting or pruning under heterogeneous prompt-template branches. Across 5 models and 12 benchmarks, prompt-template diversity reduces path correlation in $55$ of $57$ valid cells, with the strongest effect on open-ended QA. We derive an Adaptive-K rule that uses a four-path pilot to select $K^*$, retaining $96$--$103\%$ of MV@$K{=}32$ accuracy across Math, QA, and NLU.
- Abstract(参考訳): 自己整合性(SC)のような多経路推論手法では、$K$推論パスをサンプリングし、最も頻繁な答えを選択する。
しかし、その利益はK$が増加するにつれて急速に高まっており、既存の手法ではこの飽和がいつ起こるかは予測できない。
我々は,無線通信の多様性結合問題としてマルチパスLPM推論を定式化し,各経路はノイズの多いチャネル観測であり,経路の正しさの相互相関は,有限の天井において,設計効果の高いサンプルサイズを許容する。
一般化最小二乗法(GLS)解析は、交換性の下では、潜伏埋め込みの最適対称線形結合器が一様であり、不均一な急進的分岐の下で重み付けや刈り取る余地を残しながら、標準SCの自然デフォルトとして多数決を支持していることを示している。
5つのモデルと12のベンチマークで、即時的な多様性は、パス相関を57ドルの有効なセルで減少させ、オープンエンドのQAに最も強い影響を及ぼす。
我々は4パスのパイロットを使って$K^*$を選択し、MV@$K{=}32$の9,6$-$103\%$のMV@$K{=}32$の精度をMath,QA,NLUで保持するAdaptive-Kルールを導出する。
関連論文リスト
- Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳(メタデータ) (2026-08-06T19:49:48Z) - Correcting Selection Bias in Sparse User Feedback for Large Language Model Quality Estimation: A Multi-Agent Hierarchical Bayesian Approach [0.9558392439655014]
本研究では, 個別の相互作用に対して, 地絡ラベルを必要としない3次元階層型ベイズパイプラインを提案する。
フィードバックチャネル(典型的には正のフィードバック率と負のフィードバック比)の軽度先行は、バイアス比が一掃されるにつれて階層的インフォームドは4-13 pp of $Qstar$ に留まる。
チャネル側の先行がなければ、すべての弱いプライオリティは、22-33 pp.で$Qstar$を逃す。
論文 参考訳(メタデータ) (2026-05-12T14:22:06Z) - Attributing Emergence in Million-Agent Systems [68.53670424791751]
大規模言語モデル(LLM)は、個々のエージェントにおける人間のような推論と意思決定をシミュレートすることができる。
このような研究は、個々のエージェントにマクロな出現をもたらす必要がある。
Aumann--Shapley path-integral attribution to LLM-powered MAS at million-agent scale。
論文 参考訳(メタデータ) (2026-05-12T01:49:41Z) - A Communication-Theoretic Framework for LLM Agents: Cost-Aware Adaptive Reliability [0.20625936401496228]
大規模言語モデル(LLM)に基づく大規模言語モデルの信頼性技術について検討する。
これらの信頼性手法は6つの古典的信頼性演算子の特別な場合であることを示す。
本稿では,1つのラグランジアンノブが高品質なフロンティアを横断するコストアレスト近傍ルータを提案する。
論文 参考訳(メタデータ) (2026-05-09T19:14:33Z) - Polynomial Resource Classification of Quantum Circuit Familes via Classical Shadows [4.519665961894666]
我々は、I, Clifford, Clifford$+T$の3つの量子回路群を分類する。
Z$のみの測定は、すべてのキュービット数にわたって、マルチベーシや古典的な影よりも優れている。
4つの戦略はすべて、二次ショット予算の下で、およそ12キュービット以上の近距離精度(0.33ドル)に崩壊する。
論文 参考訳(メタデータ) (2026-04-28T14:34:25Z) - When Agents Disagree: The Selection Bottleneck in Multi-Agent LLM Pipelines [0.0]
マルチエージェントLLMパイプラインは、チームの多様性がアウトプット品質を改善するかどうかという矛盾した証拠を生み出します。
多様性が役に立つか傷つくかを判断する選択ボトルネックを特定することで解決法を提案する。
この結果から, セレクタの品質は, 単ラウンドジェネレータ選択パイプラインにおけるジェネレータの多様性よりも, より影響の高い設計レバーである可能性が示唆された。
論文 参考訳(メタデータ) (2026-03-20T00:50:53Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳(メタデータ) (2026-03-05T08:42:54Z) - Transform-Augmented GRPO Improves Pass@k [50.3707071191733]
グループ相対政策最適化(GRPO)は推論を改善するために設計されたが、2つの障害モードによって状況が悪化する。
本稿では,各質問に対して意味論的に等価な変換変種を生成するTA-GRPO(Transform-Augmented GRPO)を提案する。
このプール化された計算は、元の質問が簡単すぎるか難しすぎる場合でも、混合報酬を保証する一方、多様なフレーズのトレーニングは、複数のソリューション戦略を促進する。
論文 参考訳(メタデータ) (2026-01-30T02:43:29Z) - Reasoning Path Divergence: A New Metric and Curation Strategy to Unlock LLM Diverse Thinking [49.8843966537226]
テスト時間スケーリング(TTS)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。
提案手法は「一問題・複数解」(1PNS)の学習パラダイムであり,モデルから妥当な推論軌跡を抽出する手法である。
Reasoning Path Divergence (RPD) を用いて、問題ごとの最大多様な解集合と微調整Qwen3-4B-Baseをキュレートする。
論文 参考訳(メタデータ) (2025-10-30T04:08:53Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳(メタデータ) (2024-11-12T11:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。