論文の概要: Reasoning in Action: MCTS-Driven Knowledge Retrieval for Large Language Models
- arxiv url: http://arxiv.org/abs/2601.00003v1
- Date: Fri, 28 Nov 2025 16:23:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-25 16:54:51.463446
- Title: Reasoning in Action: MCTS-Driven Knowledge Retrieval for Large Language Models
- Title(参考訳): 行動推論:MCTSによる大規模言語モデルのための知識検索
- Authors: Shuqi Liu, Bowei He, Chen Ma, Linqi Song,
- Abstract要約: 本稿では,対話の論理構造に整合した情報を用いて,大規模言語モデルを強化した推論型知識検索手法を提案する。
我々はモンテカルロ木探索にインスパイアされた探索法を用いて、共通キーワードを用いて知識文を効果的にナビゲートする。
- 参考スコア(独自算出の注目度): 31.859833575765933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) typically enhance their performance through either the retrieval of semantically similar information or the improvement of their reasoning capabilities. However, a significant challenge remains in effectively integrating both retrieval and reasoning strategies to optimize LLM performance. In this paper, we introduce a reasoning-aware knowledge retrieval method that enriches LLMs with information aligned to the logical structure of conversations, moving beyond surface-level semantic similarity. We follow a coarse-to-fine approach for knowledge retrieval. First, we identify a contextually relevant sub-region of the knowledge base, ensuring that all sentences within it are relevant to the context topic. Next, we refine our search within this sub-region to extract knowledge that is specifically relevant to the reasoning process. Throughout both phases, we employ the Monte Carlo Tree Search-inspired search method to effectively navigate through knowledge sentences using common keywords. Experiments on two multi-turn dialogue datasets demonstrate that our knowledge retrieval approach not only aligns more closely with the underlying reasoning in human conversations but also significantly enhances the diversity of the retrieved knowledge, resulting in more informative and creative responses.
- Abstract(参考訳): 大規模言語モデル(LLM)は一般的に、意味的に類似した情報の検索や推論能力の向上を通じてパフォーマンスを向上させる。
しかし、LLM性能を最適化する検索戦略と推論戦略を効果的に統合する上で、大きな課題が残っている。
本稿では,会話の論理構造に整合した情報でLLMを豊かにし,表層レベルの意味的類似性を超えた推論型知識検索手法を提案する。
我々は,知識検索のための粗大なアプローチに従う。
まず、文脈に関連のある知識ベースの部分領域を特定し、その内にあるすべての文が文脈トピックに関連することを確実にする。
次に、このサブリージョン内の探索を洗練し、推論プロセスに特に関係する知識を抽出する。
いずれのフェーズも,モンテカルロ木探索にインスパイアされた探索手法を用いて,共通キーワードを用いて知識文を効果的にナビゲートする。
2つの多ターン対話データセットの実験により、我々の知識検索アプローチは、人間の会話の根底にある推論とより密接に一致しているだけでなく、得られた知識の多様性を著しく向上し、より情報的で創造的な応答をもたらすことが示された。
関連論文リスト
- Evolving Paradigms in Task-Based Search and Learning: A Comparative Analysis of Traditional Search Engine with LLM-Enhanced Conversational Search System [5.956874084659983]
大規模言語モデル (LLM) は、対話的、生成的、推論駆動型検索を可能にすることで、情報検索を急速に再構築している。
本研究では,標準検索エンジンとLLMを用いた検索システムという,2つの環境における探索行動と学習結果を比較した。
論文 参考訳(メタデータ) (2025-11-29T04:14:14Z) - Enhancing Knowledge Retrieval with Topic Modeling for Knowledge-Grounded Dialogue [0.6650227510403052]
本稿では,知識ベースにおけるトピックモデリングを利用して,検索精度をさらに向上する手法を提案する。
また,改良された検索性能を活用するために,大規模な言語モデルChatGPTの実験を行った。
論文 参考訳(メタデータ) (2024-05-07T23:32:32Z) - Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。
我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。
強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
論文 参考訳(メタデータ) (2024-01-16T08:44:29Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。
CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。
提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
論文 参考訳(メタデータ) (2023-09-12T14:36:23Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Retrieval-Free Knowledge-Grounded Dialogue Response Generation with
Adapters [52.725200145600624]
軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。
実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
論文 参考訳(メタデータ) (2021-05-13T12:33:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。