論文の概要: Escaping Redundant Reasoning: Structure-Aware Search for Inference-Time LLMs
- arxiv url: http://arxiv.org/abs/2609.00738v1
- Date: Tue, 01 Sep 2026 05:15:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.379784
- Title: Escaping Redundant Reasoning: Structure-Aware Search for Inference-Time LLMs
- Title(参考訳): 冗長推論の回避:推論時間LLMの構造認識探索
- Authors: Lu Cheng,
- Abstract要約: 大規模言語モデル(LLM)による推論時間探索は、しばしば構造的または意味論的に類似した軌道の小さなセットに集中する。
BASINは、状態の推論を盆地にグループ化する学習不要な構造認識選択法である。
- 参考スコア(独自算出の注目度): 8.676645474808835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inference-time search with large language models (LLMs) often concentrates on a small set of structurally or semantically similar trajectories, leaving alternatives underexplored---a failure mode we call \textit{reasoning basin collapse}. We introduce BASIN, a training-free, structure-aware selection method that groups reasoning states into basins and penalizes repeated visits to the same strategy, thereby reallocating search across genuinely distinct reasoning paths under a fixed compute budget. Under matched inference budgets, BASIN improves over Tree of Thoughts (ToT) by up to $+22$pp on Game of 24 and $+6.7$pp on MuSR. A quality-aware variant, QA-BASIN, further improves robustness by preserving high-quality basins when unconditional diversification over-explores. To explain when basin-aware selection helps, we introduce the redundancy gap $Δ$, which measures how differently search concentrates for correct versus incorrect predictions: standard ToT often operates near $Δ\approx 0$, while BASIN consistently shifts $Δ$ positive. More broadly, BASIN suggests structure-aware selection as a simple and general approach to improving inference-time reasoning. Code can be found at https://github.com/GitHubLuCheng/basin.
- Abstract(参考訳): 大規模言語モデル(LLM)による推論時間探索は、しばしば構造的または意味論的に類似した軌道の小さなセットに集中し、探索されていない選択肢を残します。
BASINは、状態の推論を階層にグループ化し、同じ戦略への繰り返し訪問を罰する学習自由な構造認識選択手法であり、固定された計算予算の下で真に異なる推論経路を探索する。
一致した推論予算の下で、BASINは24ゲームで最大$22$pp、MuSRで$6.7$ppの改善を行う。
品質を意識したQA-BASINは、非条件の多様化が過剰な探索を行う際に、高品質な盆地を保存することにより、ロバスト性をさらに向上する。
標準ToTはしばしば$Δ\approx 0$近くで動作し、BASINは$Δ$を一貫してシフトする。
より広範に、BASINは推論時間推論を改善するためのシンプルで一般的なアプローチとして構造認識の選択を提案する。
コードはhttps://github.com/GitHubLuCheng/basin.orgにある。
関連論文リスト
- Two-Fidelity Best-Action Identification for Stochastic Minimax Tree [7.171524130884609]
ミニマックス樹における固定信頼ベストアクション識別(BAI)について検討した。
本研究では,複数要素の平坦なバンドイットのアイデアを木にもたらす2要素木探索アルゴリズムである2FFSを提案する。
論文 参考訳(メタデータ) (2026-06-01T05:21:40Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳(メタデータ) (2026-05-22T08:26:08Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳(メタデータ) (2026-02-26T11:08:39Z) - Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。
各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
論文 参考訳(メタデータ) (2025-02-16T16:12:01Z) - Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。
本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。
我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
論文 参考訳(メタデータ) (2023-10-02T08:15:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。