論文の概要: MITS: Enhanced Tree Search Reasoning for LLMs via Pointwise Mutual Information

• arxiv url: http://arxiv.org/abs/2510.03632v1
• Date: Sat, 04 Oct 2025 02:30:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.164513
• Title: MITS: Enhanced Tree Search Reasoning for LLMs via Pointwise Mutual Information
• Title（参考訳）: MITS:ポイントワイド相互情報によるLLMのための拡張木探索推論
• Authors: Jiaxi Li, Yucheng Shi, Jin Lu, Ninghao Liu,
• Abstract要約: 情報理論の原理で推論を導く新しいフレームワークであるMutual Information Tree Search (MITS)を提案する。 MITSは、ポイントワイド相互情報(PMI)に基づく効果的なスコアリング機能を導入し、推論経路の段階的評価と探索木拡張を可能にする。 最終的な予測のために、MITSはPMIスコアと予測コンセンサスを組み合わせた重み付き投票方式を採用している。
• 参考スコア（独自算出の注目度）: 32.43291637979958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree search has become as a representative framework for test-time reasoning with large language models (LLMs), exemplified by methods such as Tree-of-Thought and Monte Carlo Tree Search that explore multiple reasoning paths. However, it remains difficult to provide instant and reliable quantitative assessments of intermediate reasoning step quality, and extensive path exploration is computationally costly. To address this, we propose Mutual Information Tree Search (MITS), a novel framework that guides reasoning with information-theoretic principles. MITS introduces an effective scoring function based on pointwise mutual information (PMI), which enables step-wise evaluation of reasoning paths and search tree expansion via beam search without expensive look-ahead simulations, achieving superior reasoning performances while maintaining computational efficiency. The framework is complemented by an entropy-based dynamic sampling strategy that adaptively allocates computational resources to uncertain reasoning steps where exploration is most beneficial. For final prediction, MITS employs a weighted voting scheme that combines PMI scores with prediction consensus. Through comprehensive experiments on diverse reasoning benchmarks, MITS consistently surpasses baseline methods, establishing a principled and efficient framework for LLM reasoning.
• Abstract（参考訳）: Tree-of-ThoughtやMonte Carlo Tree Searchなど,複数の推論パスを探索するメソッドで実証された,大規模な言語モデル(LLM)によるテスト時間推論の代表的なフレームワークとしてツリー検索が採用されている。 しかし、中間推論ステップの品質の迅速かつ信頼性の高い定量的評価を行うことは依然として困難であり、広範な経路探索は計算コストがかかる。 これを解決するために,情報理論の原理で推論を導く新しいフレームワークであるMutual Information Tree Search (MITS)を提案する。 MITSは、ポイントワイド相互情報(PMI)に基づく効果的なスコアリング機能を導入し、高価なルックアヘッドシミュレーションを使わずにビームサーチによる推論経路と探索木拡張を段階的に評価し、計算効率を維持しながら優れた推論性能を実現する。 このフレームワークはエントロピーに基づく動的サンプリング戦略によって補完され、探索が最も有用である不確実な推論ステップに計算資源を適応的に割り当てる。 最終的な予測のために、MITSはPMIスコアと予測コンセンサスを組み合わせた重み付き投票方式を採用している。 多様な推論ベンチマークに関する包括的な実験を通じて、MITSは一貫してベースライン手法を超越し、LLM推論の原則的で効率的なフレームワークを確立した。

関連論文リスト

• Policy Guided Tree Search for Enhanced LLM Reasoning [3.090041654375235]
  Policy-Guided Tree Search (PGTS)は、強化学習と構造化木探索を組み合わせて推論経路を効率的にナビゲートするフレームワークである。 私たちの重要なイノベーションは、手作業や徹底的な検索の必要性をなくし、拡大、分岐、追跡、探索の終了を動的に決定する、学習されたポリシーです。
  論文  参考訳（メタデータ） (2025-02-04T22:08:20Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。