論文の概要: MITS: Enhanced Tree Search Reasoning for LLMs via Pointwise Mutual Information

• arxiv url: http://arxiv.org/abs/2510.03632v1
• Date: Sat, 04 Oct 2025 02:30:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.164513
• Title: MITS: Enhanced Tree Search Reasoning for LLMs via Pointwise Mutual Information
• Title（参考訳）: MITS:ポイントワイド相互情報によるLLMのための拡張木探索推論
• Authors: Jiaxi Li, Yucheng Shi, Jin Lu, Ninghao Liu,
• Abstract要約: 情報理論の原理で推論を導く新しいフレームワークであるMutual Information Tree Search (MITS)を提案する。 MITSは、ポイントワイド相互情報(PMI)に基づく効果的なスコアリング機能を導入し、推論経路の段階的評価と探索木拡張を可能にする。 最終的な予測のために、MITSはPMIスコアと予測コンセンサスを組み合わせた重み付き投票方式を採用している。
• 参考スコア（独自算出の注目度）: 32.43291637979958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree search has become as a representative framework for test-time reasoning with large language models (LLMs), exemplified by methods such as Tree-of-Thought and Monte Carlo Tree Search that explore multiple reasoning paths. However, it remains difficult to provide instant and reliable quantitative assessments of intermediate reasoning step quality, and extensive path exploration is computationally costly. To address this, we propose Mutual Information Tree Search (MITS), a novel framework that guides reasoning with information-theoretic principles. MITS introduces an effective scoring function based on pointwise mutual information (PMI), which enables step-wise evaluation of reasoning paths and search tree expansion via beam search without expensive look-ahead simulations, achieving superior reasoning performances while maintaining computational efficiency. The framework is complemented by an entropy-based dynamic sampling strategy that adaptively allocates computational resources to uncertain reasoning steps where exploration is most beneficial. For final prediction, MITS employs a weighted voting scheme that combines PMI scores with prediction consensus. Through comprehensive experiments on diverse reasoning benchmarks, MITS consistently surpasses baseline methods, establishing a principled and efficient framework for LLM reasoning.
• Abstract（参考訳）: Tree-of-ThoughtやMonte Carlo Tree Searchなど,複数の推論パスを探索するメソッドで実証された,大規模な言語モデル(LLM)によるテスト時間推論の代表的なフレームワークとしてツリー検索が採用されている。 しかし、中間推論ステップの品質の迅速かつ信頼性の高い定量的評価を行うことは依然として困難であり、広範な経路探索は計算コストがかかる。 これを解決するために,情報理論の原理で推論を導く新しいフレームワークであるMutual Information Tree Search (MITS)を提案する。 MITSは、ポイントワイド相互情報(PMI)に基づく効果的なスコアリング機能を導入し、高価なルックアヘッドシミュレーションを使わずにビームサーチによる推論経路と探索木拡張を段階的に評価し、計算効率を維持しながら優れた推論性能を実現する。 このフレームワークはエントロピーに基づく動的サンプリング戦略によって補完され、探索が最も有用である不確実な推論ステップに計算資源を適応的に割り当てる。 最終的な予測のために、MITSはPMIスコアと予測コンセンサスを組み合わせた重み付き投票方式を採用している。 多様な推論ベンチマークに関する包括的な実験を通じて、MITSは一貫してベースライン手法を超越し、LLM推論の原則的で効率的なフレームワークを確立した。

関連論文リスト

• Contrastive Concept-Tree Search for LLM-Assisted Algorithm Discovery [10.823958143531685]
  大規模言語モデル (LLM) によるアルゴリズム発見は、プログラムに対する反復的、ブラックボックス最適化プロセスである。 本稿では、生成したプログラムから階層的な概念表現を抽出するContrastive Concept-Tree Search(CCTS)を紹介する。 CCTSは、フィットネスベースのベースラインよりも検索効率を向上し、解釈可能なタスク固有の概念ツリーを生成する。
  論文  参考訳（メタデータ） (2026-02-03T05:41:35Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• Reinforced Efficient Reasoning via Semantically Diverse Exploration [73.41112984160992]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論の強化に有効であることが証明された。 本研究では,LLMのための意味的多様性探索,すなわちROSEによる効率的な推論手法を提案する。 本手法は,意味エントロピーに基づく分岐戦略と$varepsilon$-exploration機構を組み込んだものである。
  論文  参考訳（メタデータ） (2026-01-08T15:56:44Z)
• Combining LLMs with Logic-Based Framework to Explain MCTS [13.276888833862447]
  我々はモンテカルロ木探索(MCTS)アルゴリズムのための計算木誘導大言語モデル(LLM)に基づく自然言語説明フレームワークを設計する。 ユーザクエリをロジックや変数ステートメントに変換することで,検索ツリーから得られたエビデンスが事実上一貫していることを保証する。 このフレームワークを定量的評価によって厳格に評価し,精度と事実整合性の観点から高い性能を示す。
  論文  参考訳（メタデータ） (2025-05-01T15:40:58Z)
• MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search [61.11836311160951]
  本稿では,知識集約型タスクにおける小言語モデルの推論能力を高める新しいアプローチであるMCTS-RAGを紹介する。 通常、推論から独立して情報を取得する標準的なRAG法とは異なり、MCTS-RAGは構造化推論と適応的検索を組み合わせる。 この統合されたアプローチは意思決定を強化し、幻覚を減らし、事実の正確性と応答の整合性を向上させる。
  論文  参考訳（メタデータ） (2025-03-26T17:46:08Z)
• MCTS-KBQA: Monte Carlo Tree Search for Knowledge Base Question Answering [5.926690985669765]
  本研究ではモンテカルロ木探索(MCTS)を利用した知識ベース質問応答(KBQA)における大規模言語モデル(LLM)の推論能力の向上について検討する。 我々は、オープンソース命令LLMの直接的プロンプトのみを必要とするステップワイズ報酬機構を慎重に設計する。 我々は,既存の質問-SPARQLデータセットの中間的推論プロセスを遠隔監視を用いて注釈付けすることで,KBQAコミュニティに新たなデータリソースを提供する。
  論文  参考訳（メタデータ） (2025-02-19T04:58:39Z)
• Policy Guided Tree Search for Enhanced LLM Reasoning [3.090041654375235]
  Policy-Guided Tree Search (PGTS)は、強化学習と構造化木探索を組み合わせて推論経路を効率的にナビゲートするフレームワークである。 私たちの重要なイノベーションは、手作業や徹底的な検索の必要性をなくし、拡大、分岐、追跡、探索の終了を動的に決定する、学習されたポリシーです。
  論文  参考訳（メタデータ） (2025-02-04T22:08:20Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。