論文の概要: MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2503.20757v1
• Date: Wed, 26 Mar 2025 17:46:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:20:53.730108
• Title: MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search
• Title（参考訳）: MCTS-RAG:モンテカルロ木探索による検索強化
• Authors: Yunhai Hu, Yilun Zhao, Chen Zhao, Arman Cohan,
• Abstract要約: 本稿では,知識集約型タスクにおける小言語モデルの推論能力を高める新しいアプローチであるMCTS-RAGを紹介する。 通常、推論から独立して情報を取得する標準的なRAG法とは異なり、MCTS-RAGは構造化推論と適応的検索を組み合わせる。 この統合されたアプローチは意思決定を強化し、幻覚を減らし、事実の正確性と応答の整合性を向上させる。
• 参考スコア（独自算出の注目度）: 27.378904180238557
• License:
• Abstract: We introduce MCTS-RAG, a novel approach that enhances the reasoning capabilities of small language models on knowledge-intensive tasks by leveraging retrieval-augmented generation (RAG) to provide relevant context and Monte Carlo Tree Search (MCTS) to refine reasoning paths. MCTS-RAG dynamically integrates retrieval and reasoning through an iterative decision-making process. Unlike standard RAG methods, which typically retrieve information independently from reasoning and thus integrate knowledge suboptimally, or conventional MCTS reasoning, which depends solely on internal model knowledge without external facts, MCTS-RAG combines structured reasoning with adaptive retrieval. This integrated approach enhances decision-making, reduces hallucinations, and ensures improved factual accuracy and response consistency. The experimental results on multiple reasoning and knowledge-intensive datasets datasets (i.e., ComplexWebQA, GPQA, and FoolMeTwice) show that our method enables small-scale LMs to achieve performance comparable to frontier LLMs like GPT-4o by effectively scaling inference-time compute, setting a new standard for reasoning in small-scale models.
• Abstract（参考訳）: 我々は,検索強化世代(RAG)を利用して知識集約タスクにおける小言語モデルの推論能力を高める新しい手法MCTS-RAGと,推論経路を洗練するためのモンテカルロ木探索(MCTS)を紹介する。 MCTS-RAGは、反復的な意思決定プロセスを通じて、検索と推論を動的に統合する。 通常、推論から独立して情報を取り出す標準的なRAG法や、外部事実を持たない内部モデル知識にのみ依存する従来のMCTS推論と異なり、MCTS-RAGは構造化推論と適応的検索を組み合わせる。 この統合されたアプローチは意思決定を強化し、幻覚を減らし、事実の正確性と応答の整合性を向上させる。 複数の推論および知識集約データセット(コンプレックスWebQA,GPQA,FoolMeTwice)に対する実験結果から,提案手法は小規模モデルにおける推論時間計算を効果的にスケーリングすることにより,GPT-4oのようなフロンティアLCMに匹敵する性能を実現することができることを示す。

関連論文リスト

• MCTS-KBQA: Monte Carlo Tree Search for Knowledge Base Question Answering [5.926690985669765]
  本研究ではモンテカルロ木探索(MCTS)を利用した知識ベース質問応答(KBQA)における大規模言語モデル(LLM)の推論能力の向上について検討する。 我々は、オープンソース命令LLMの直接的プロンプトのみを必要とするステップワイズ報酬機構を慎重に設計する。 我々は,既存の質問-SPARQLデータセットの中間的推論プロセスを遠隔監視を用いて注釈付けすることで,KBQAコミュニティに新たなデータリソースを提供する。
  論文  参考訳（メタデータ） (2025-02-19T04:58:39Z)
• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation using Tree-based Search [4.4907551923591695]
  本稿では,システム解析と効率的な推論行動を統合したRAGにおける新しい思考パターンを提案する。 具体的には,本手法は5つの基本的な推論動作を設計し,より広い木に基づく推論空間に拡張する。 実験により,複雑な質問応答データセットに対して,AirRAGの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-17T09:16:13Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• A NotSo Simple Way to Beat Simple Bench [0.0]
  本稿では,大規模言語モデル(LLM)における推論能力向上のための新しい枠組みを提案する。 モデル精度とロバスト性を改善するために,グローバルな整合性チェックと組み合わせたマルチステッププロンプト戦略を提案する。 クロードは論理的整合性を維持するのに優れ, GPT-4oは探索的創造性を示すが, 曖昧なプロンプトに苦しむ。
  論文  参考訳（メタデータ） (2024-12-12T16:04:31Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models [23.68266151581951]
  Retrieval-Augmented Generation (RAG) は,Large Language Models (LLMs) の実際の精度を高めることが示されている。 既存の手法は、抽出された証拠を効果的に活用する際の限定的な推論能力に悩まされることが多い。 我々は,オープンソースLLMを用いたRAGにおける推論能力の向上を目的とした,新しいフレームワークであるOpen-RAGを紹介する。
  論文  参考訳（メタデータ） (2024-10-02T17:37:18Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。