論文の概要: Answer Probing-Guided Search for Diverse Solution Exploration of LLMs

• arxiv url: http://arxiv.org/abs/2608.30345v1
• Date: Mon, 31 Aug 2026 07:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.274812
• Title: Answer Probing-Guided Search for Diverse Solution Exploration of LLMs
• Title（参考訳）: LLMの逆解探索のための解探索誘導探索
• Abstract要約: 大規模言語モデル(LLM)は、推論中に単一の高信頼のソリューションに収束する傾向がある。 本稿では,探索された回答の隠れ状態の類似性と難易度による木探索をガイドするAnswer Probing-Guided Tree Search (APTS)を提案する。
• 参考スコア（独自算出の注目度）: 61.647721732856034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating multiple diverse and high-quality solutions is valuable for many applications, such as code-test generation and drug discovery. However, Large Language Models (LLMs) tend to converge on a single high-confidence solution during inference, limiting exploration of alternative valid solution paths. Existing test-time methods promote diversity through tree-like search and prune semantically similar branches using response-level semantic embeddings. However, we find that such embeddings are easily confounded by linguistic and stylistic similarities, making it difficult to distinguish genuinely distinct solution paths. To address this, we introduce Answer Probing, which probes the potential answer an LLM would reach from an intermediate reasoning path. We demonstrate that the hidden states of probed answers more effectively differentiate distinct solution paths than semantic embeddings, and the perplexity of probed answers serves as a practical proxy for reasoning correctness. Based on these findings, we propose Answer Probing-Guided Tree Search (APTS), which guides the tree search by the probed answers' hidden state similarity and perplexity. Experiments on three reasoning tasks across two LLMs show that APTS consistently enhances solution diversity, demonstrating its effectiveness and robustness.
• Abstract（参考訳）: 複数の多様な高品質なソリューションを生成することは、コードテスト生成や薬物発見など、多くのアプリケーションにとって価値がある。 しかし、Large Language Models (LLMs) は推論中に単一の高信頼な解に収束し、代替の有効な解経路の探索を制限する傾向にある。 既存のテストタイム手法は、応答レベルのセマンティック埋め込みを用いて、木のような探索とプルーネ的なセマンティックな分岐を通して多様性を促進する。 しかし、そのような埋め込みは言語的・構造的な類似性によって容易に構築され、真に異なる解経路を区別することは困難である。 これを解決するために,LLMが中間的推論経路から到達する可能性のある答えを探索するAnswer Probingを導入する。 探索された解の隠れ状態は意味的な埋め込みよりも解の経路をより効果的に区別し、探索された解の難易度は正当性を推論する実用的な指標であることを示した。 これらの知見に基づいて,探索された回答の隠れ状態の類似性と難易度による木探索をガイドするAnswer Probing-Guided Tree Search (APTS)を提案する。 2つのLCM間の3つの推論タスクの実験により、APTSはソリューションの多様性を一貫して向上し、その有効性と堅牢性を示す。

関連論文リスト

• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• Thinker: Training LLMs in Hierarchical Thinking for Deep Search via Multi-Turn Interaction [57.67217258741752]
  Thinkerはマルチターンインタラクションによるディープ検索のための階層的思考モデルである。 複素問題を独立に解ける部分確率に分解する。 サブプロブレム間の依存関係は、これらの論理関数を介してパラメータとして渡される。
  論文  参考訳（メタデータ） (2025-11-11T07:48:45Z)
• MIRAGE: Multi-hop Reasoning with Ambiguity Evaluation for Illusory Questions [25.695038634265]
  実世界のマルチホップ質問回答(QA)は、推論プロセス自体と分離できないあいまいさを伴うことが多い。 この曖昧さは、一つの質問から複数の推論パスが現れるという、明確な課題を生み出します。 本稿では,MultI-hop Reasoning with AmbiGuity Evaluation for Illusory Questions (MIRAGE)を紹介する。
  論文  参考訳（メタデータ） (2025-09-26T07:31:01Z)
• Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models [0.0]
  本稿では, 忠実な幻覚を検出するための新しい枠組みであるセマンティック・ディバージェンス・メトリックス(SDM)を紹介する。 プロンプトと応答間のトピック共起のヒートマップは、ユーザとマシンの対話の定量的な2次元可視化と見なすことができる。
  論文  参考訳（メタデータ） (2025-08-13T20:55:26Z)
• Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models [8.295475330195993]
  本稿では,セマンティック探索を適応ゲーティング(SEAG)で提案し,意味論的に同一の経路を探索する。 SEAGは計算コストの31%しか必要とせず、平均4.3%の精度を著しく向上させる。 私たちのコードはhttps://github.com/ml-postech/SEAG-semantic-exploration-with-adaptive-gatingで公開しています。
  論文  参考訳（メタデータ） (2025-01-10T07:02:43Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)
• PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
  木探索に基づく推論経路生成手法であるPathFinderを提案する。 動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。 我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
  論文  参考訳（メタデータ） (2023-12-08T17:05:47Z)
• A Mutual Information Maximization Approach for the Spurious Solution Problem in Weakly Supervised Question Answering [60.768146126094955]
  弱々しい教師付き質問応答は通常、最終的な答えのみを監督信号として持つ。 偶然に正解を導出する刺激的な解が多数存在するかもしれないが、そのような解の訓練はモデルの性能を損なう可能性がある。 本稿では,質問応答対と予測解間の相互情報の最大化により,このような意味的相関を明示的に活用することを提案する。
  論文  参考訳（メタデータ） (2021-06-14T05:47:41Z)
• Learning by Fixing: Solving Math Word Problems with Weak Supervision [70.62896781438694]
  数学用語問題(mwps)の従来のニューラルネットワークソルバは、完全な監視によって学習され、多様なソリューションを生み出すことができない。 MWPを学習するためのテキスト弱教師付きパラダイムを提案する。 この手法は最終回答のアノテーションのみを必要とし、単一の問題に対して様々な解決策を生成できる。
  論文  参考訳（メタデータ） (2020-12-19T03:10:21Z)
• Explanation Generation for Multi-Modal Multi-Agent Path Finding with Optimal Resource Utilization using Answer Set Programming [1.7132914341329848]
  mMAPFの実際の応用には柔軟性と説明性が必要である。 本稿では,ソリューションの実現可能性と最適性に関する質問に対する説明を生成する手法を提案する。
  論文  参考訳（メタデータ） (2020-08-08T18:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。