論文の概要: Search and Refine During Think: Autonomous Retrieval-Augmented Reasoning of LLMs

• arxiv url: http://arxiv.org/abs/2505.11277v2
• Date: Wed, 28 May 2025 02:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:28.033301
• Title: Search and Refine During Think: Autonomous Retrieval-Augmented Reasoning of LLMs
• Title（参考訳）: 思考における検索と再定義:LLMの自律的検索強化推論
• Authors: Yaorui Shi, Sihang Li, Chang Wu, Zhiyuan Liu, Junfeng Fang, Hengxing Cai, An Zhang, Xiang Wang,
• Abstract要約: 大きな言語モデルは印象的な推論能力を示してきたが、本質的には知識貯水池によって制限されている。 Retrieval-augmented reasoningは、LCMが外部リソースをクエリできるようにすることによって、この制限を緩和する。 本稿では,新しい探索・復調思考のパラダイムを取り入れた強化学習フレームワークであるAutoRefineを提案する。
• 参考スコア（独自算出の注目度）: 25.800565994304847
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models have demonstrated impressive reasoning capabilities but are inherently limited by their knowledge reservoir. Retrieval-augmented reasoning mitigates this limitation by allowing LLMs to query external resources, but existing methods often retrieve irrelevant or noisy information, hindering accurate reasoning. In this paper, we propose AutoRefine, a reinforcement learning post-training framework that adopts a new ``search-and-refine-during-think'' paradigm. AutoRefine introduces explicit knowledge refinement steps between successive search calls, enabling the model to iteratively filter, distill, and organize evidence before generating an answer. Furthermore, we incorporate tailored retrieval-specific rewards alongside answer correctness rewards using group relative policy optimization. Experiments on single-hop and multi-hop QA benchmarks demonstrate that AutoRefine significantly outperforms existing approaches, particularly in complex, multi-hop reasoning scenarios. Detailed analysis shows that AutoRefine issues frequent, higher-quality searches and synthesizes evidence effectively.
• Abstract（参考訳）: 大きな言語モデルは印象的な推論能力を示してきたが、本質的には知識貯水池によって制限されている。 Retrieval-augmented reasoningは、LLMが外部リソースをクエリできるようにすることで、この制限を緩和するが、既存のメソッドは、無関係またはノイズの多い情報を検索し、正確な推論を妨げる。 本稿では,学習後強化学習フレームワークであるAutoRefineを提案する。 AutoRefineは、連続する検索呼び出しの間に明確な知識の洗練ステップを導入し、モデルが答えを生成する前に、反復的にフィルタリング、蒸留、および証拠の整理を可能にする。 さらに、グループ相対的ポリシー最適化を用いて、回答の正当性報酬とともに、検索固有の報酬を組み込む。 シングルホップとマルチホップのQAベンチマークの実験では、AutoRefineが既存のアプローチ、特に複雑でマルチホップな推論シナリオを大幅に上回っていることが示されている。 詳細な分析によると、AutoRefineは頻繁に問題を起こし、高品質な検索を行い、証拠を効果的に合成する。

関連論文リスト

• SEM: Reinforcement Learning for Search-Efficient Large Language Models [26.075903427834838]
  大きな言語モデル(LLM)は、推論だけでなく、外部ツールの呼び出しでもその能力を実証している。 既存の強化学習アプローチは、しばしば冗長な探索行動を引き起こす。 本研究では,学習後強化学習フレームワークであるSEMを提案する。
  論文  参考訳（メタデータ） (2025-05-12T09:45:40Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Review-Then-Refine: A Dynamic Framework for Multi-Hop Question Answering with Temporal Adaptability [19.722009684115434]
  Retrieve-augmented Generation (RAG) フレームワークがマルチホップ質問応答(QA)タスクの有望なソリューションとして登場した。 既存のRAGフレームワークは、通常、検索対象のパラダイムに従っており、時間情報を持つマルチホップQAと競合することが多い。 本稿では,マルチホップQAシナリオにおけるLLMの性能向上を目的とした,Review-then-refineと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T17:48:23Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Auto-RAG: Autonomous Retrieval-Augmented Generation for Large Language Models [31.769428095250912]
  Auto-RAGは大規模言語モデル(LLM)の推論機能を中心とした自律的反復検索モデルである 本研究では,反復検索における推論に基づく意思決定命令を自律的に合成する手法を開発した。 Auto-RAGは自然言語で反復的な検索プロセスを表現し、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-11-29T03:01:05Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context Learning in Factuality Evaluation [20.178644251662316]
  本稿では,文脈内学習における関連する文節の検索を促進するために,階層的思考グラフ(HGOT)を導入する。 このフレームワークは、複雑なクエリを管理可能なサブクエリに分割する、分割/クエリ戦略を採用している。 それは、最近提案された引用リコールと精度の指標を取り入れた、回答の選択のための自己一貫性の過半数投票を洗練する。
  論文  参考訳（メタデータ） (2024-02-14T18:41:19Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。