論文の概要: AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation via Tree-based Search
- arxiv url: http://arxiv.org/abs/2501.10053v1
- Date: Fri, 17 Jan 2025 09:16:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-20 17:59:09.71565
- Title: AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation via Tree-based Search
- Title（参考訳）: AirRAG:ツリーベースサーチによる検索拡張のための固有推論の活性化
- Authors: Wenfeng Feng, Chuzhan Hao, Yuewei Zhang, Jingyi Song, Hao Wang,
- Abstract要約: 本稿では,システム解析と効率的な推論動作を統合したRAGにおける新しい思考パターンを提案する。
AirRAGは柔軟で軽量で、他の先進技術と簡単に統合できる。
- 参考スコア（独自算出の注目度）: 4.4907551923591695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging the autonomous decision-making capabilities of large language models (LLMs) demonstrates superior performance in reasoning tasks. Despite the successes of iterative or recursive retrieval-augmented generation (RAG), they often are trapped in a single solution space when confronted with complex tasks. In this paper, we propose a novel thinking pattern in RAG which integrates system analysis with efficient reasoning actions, significantly activating intrinsic reasoning capabilities and expanding the solution space of specific tasks via Monte Carlo Tree Search (MCTS), dubbed AirRAG. Specifically, our approach designs five fundamental reasoning actions that are expanded to a wide tree-based reasoning spaces using MCTS. The extension also uses self-consistency verification to explore potential reasoning paths and implement inference scaling. In addition, computationally optimal strategies are used to apply more inference computation to key actions to achieve further performance improvements. Experimental results demonstrate the effectiveness of AirRAG through considerable performance gains over complex QA datasets. Furthermore, AirRAG is flexible and lightweight, making it easy to integrate with other advanced technologies.
- Abstract（参考訳）: 大規模言語モデル(LLM)の自律的意思決定能力を活用することは、推論タスクにおける優れたパフォーマンスを示す。
反復的あるいは再帰的検索拡張生成(RAG)の成功にもかかわらず、複雑なタスクに直面した場合、それらは単一のソリューション空間に閉じ込められることが多い。
本稿では,システム解析を効率的な推論行動と統合し,本質的な推論能力を著しく活性化し,モンテカルロ木探索 (MCTS) を通じて特定のタスクの解空間を拡張したRAGにおける新しい思考パターンを提案する。
具体的には,5つの基本的な推論動作を設計し,MCTSを用いてツリーベースの推論空間に拡張する。
この拡張はまた、自己整合性検証を使用して、潜在的な推論パスを調べ、推論スケーリングを実装する。
さらに、より多くの推論計算をキーアクションに適用し、さらなるパフォーマンス向上を実現するために、計算的に最適な戦略が用いられる。
実験により,複雑なQAデータセットに対するAirRAGの性能向上効果が示された。
さらに、AirRAGは柔軟で軽量で、他の高度な技術との統合も容易である。
関連論文リスト
- ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation [38.64751082999587]
大きな推論モデル(LRM)は、顕著な推論能力を示すが、主にパラメトリック知識に依存し、事実の正確性を制限する。
本稿では,過剰な反復を伴わない多様なクエリを探索する,事実性強化推論モデルReaRAGを提案する。
我々の研究は、レトリーバル強化世代(RAG)のロバスト推論を効果的に統合しつつ、LRMの事実性を向上する。
論文 参考訳（メタデータ） (2025-03-27T17:44:18Z) - MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search [27.378904180238557]
本稿では,知識集約型タスクにおける小言語モデルの推論能力を高める新しいアプローチであるMCTS-RAGを紹介する。
通常、推論から独立して情報を取得する標準的なRAG法とは異なり、MCTS-RAGは構造化推論と適応的検索を組み合わせる。
この統合されたアプローチは意思決定を強化し、幻覚を減らし、事実の正確性と応答の整合性を向上させる。
論文 参考訳（メタデータ） (2025-03-26T17:46:08Z) - R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。
本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。
提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
論文 参考訳（メタデータ） (2025-03-07T17:14:44Z) - ViDoRAG: Visual Document Retrieval-Augmented Generation via Dynamic Iterative Reasoning Agents [27.90338725230132]
ViDoSeekは複雑な推論を必要とする視覚的にリッチなドキュメント上でのRAGパフォーマンスを評価するために設計されたデータセットである。
視覚文書間の複雑な推論に適した新しいマルチエージェントRAGフレームワークであるViDoRAGを提案する。
特にViDoRAGは、競合するViDoSeekベンチマークで既存のメソッドを10%以上上回っている。
論文 参考訳（メタデータ） (2025-02-25T09:26:12Z) - DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。
クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。
実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
論文 参考訳（メタデータ） (2025-02-03T08:22:45Z) - Chain-of-Retrieval Augmented Generation [72.06205327186069]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳（メタデータ） (2025-01-24T09:12:52Z) - RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。
検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。
Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2024-12-17T13:05:36Z) - Auto-RAG: Autonomous Retrieval-Augmented Generation for Large Language Models [31.769428095250912]
Auto-RAGは大規模言語モデル(LLM)の推論機能を中心とした自律的反復検索モデルである
本研究では,反復検索における推論に基づく意思決定命令を自律的に合成する手法を開発した。
Auto-RAGは自然言語で反復的な検索プロセスを表現し、解釈可能性を高める。
論文 参考訳（メタデータ） (2024-11-29T03:01:05Z) - Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。
本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
論文 参考訳（メタデータ） (2024-11-18T16:15:17Z) - SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。
本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。
我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
論文 参考訳（メタデータ） (2024-11-17T12:31:04Z) - Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。
既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。
CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
論文 参考訳（メタデータ） (2024-10-02T11:26:02Z) - SPO: Sequential Monte Carlo Policy Optimisation [41.52684912140086]
SPO:Sequential Monte Carlo Policy optimizationを紹介する。
我々は,SPOがロバストな政策改善と効率的なスケーリング特性を提供することを示した。
モデルフリーおよびモデルベースラインと比較して,統計的に有意な性能向上を示す。
論文 参考訳（メタデータ） (2024-02-12T10:32:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。