論文の概要: AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation via Tree-based Search

• arxiv url: http://arxiv.org/abs/2501.10053v1
• Date: Fri, 17 Jan 2025 09:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:51.653538
• Title: AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation via Tree-based Search
• Title（参考訳）: AirRAG:ツリーベースサーチによる検索拡張のための固有推論の活性化
• Authors: Wenfeng Feng, Chuzhan Hao, Yuewei Zhang, Jingyi Song, Hao Wang,
• Abstract要約: 本稿では,システム解析と効率的な推論動作を統合したRAGにおける新しい思考パターンを提案する。 AirRAGは柔軟で軽量で、他の先進技術と簡単に統合できる。
• 参考スコア（独自算出の注目度）: 4.4907551923591695
• License:
• Abstract: Leveraging the autonomous decision-making capabilities of large language models (LLMs) demonstrates superior performance in reasoning tasks. Despite the successes of iterative or recursive retrieval-augmented generation (RAG), they often are trapped in a single solution space when confronted with complex tasks. In this paper, we propose a novel thinking pattern in RAG which integrates system analysis with efficient reasoning actions, significantly activating intrinsic reasoning capabilities and expanding the solution space of specific tasks via Monte Carlo Tree Search (MCTS), dubbed AirRAG. Specifically, our approach designs five fundamental reasoning actions that are expanded to a wide tree-based reasoning spaces using MCTS. The extension also uses self-consistency verification to explore potential reasoning paths and implement inference scaling. In addition, computationally optimal strategies are used to apply more inference computation to key actions to achieve further performance improvements. Experimental results demonstrate the effectiveness of AirRAG through considerable performance gains over complex QA datasets. Furthermore, AirRAG is flexible and lightweight, making it easy to integrate with other advanced technologies.
• Abstract（参考訳）: 大規模言語モデル(LLM)の自律的意思決定能力を活用することは、推論タスクにおける優れたパフォーマンスを示す。 反復的あるいは再帰的検索拡張生成(RAG)の成功にもかかわらず、複雑なタスクに直面した場合、それらは単一のソリューション空間に閉じ込められることが多い。 本稿では,システム解析を効率的な推論行動と統合し,本質的な推論能力を著しく活性化し,モンテカルロ木探索 (MCTS) を通じて特定のタスクの解空間を拡張したRAGにおける新しい思考パターンを提案する。 具体的には,5つの基本的な推論動作を設計し,MCTSを用いてツリーベースの推論空間に拡張する。 この拡張はまた、自己整合性検証を使用して、潜在的な推論パスを調べ、推論スケーリングを実装する。 さらに、より多くの推論計算をキーアクションに適用し、さらなるパフォーマンス向上を実現するために、計算的に最適な戦略が用いられる。 実験により,複雑なQAデータセットに対するAirRAGの性能向上効果が示された。 さらに、AirRAGは柔軟で軽量で、他の高度な技術との統合も容易である。

関連論文リスト

• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
  大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。 本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。 我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
  論文  参考訳（メタデータ） (2024-11-17T12:31:04Z)
• Optimizing Retrieval-Augmented Generation with Elasticsearch for Enhanced Question-Answering Systems [2.4299671488193497]
  本研究の目的は,大規模言語モデル(LLM)の精度と品質を,検索型拡張生成(RAG)フレームワークに統合することにより改善することである。 この実験では、テストデータセットとしてSQuAD(Stanford Question Answering dataset)バージョン2.0が使用されている。
  論文  参考訳（メタデータ） (2024-10-18T04:17:49Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Inference Scaling for Long-Context Retrieval Augmented Generation [37.15479223789199]
  本研究では,検索拡張生成(RAG)のための推論スケーリングについて検討する。 インコンテキスト学習と反復的プロンプトという,2つの推論スケーリング戦略に注目します。 我々は、長期コンテキストの大規模言語モデル上での推論計算のスケーリングが、ベンチマークデータセットで最大58.9%のゲインを達成することを実証した。
  論文  参考訳（メタデータ） (2024-10-06T03:42:15Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• SPO: Sequential Monte Carlo Policy Optimisation [41.52684912140086]
  SPO:Sequential Monte Carlo Policy optimizationを紹介する。 我々は,SPOがロバストな政策改善と効率的なスケーリング特性を提供することを示した。 モデルフリーおよびモデルベースラインと比較して,統計的に有意な性能向上を示す。
  論文  参考訳（メタデータ） (2024-02-12T10:32:47Z)
• REX: Rapid Exploration and eXploitation for AI Agents [103.68453326880456]
  本稿では、REXと呼ばれるAIエージェントのための高速探索およびeXploitationのための改良されたアプローチを提案する。 REXは追加の報酬層を導入し、アッパー信頼境界(UCB)スコアに似た概念を統合し、より堅牢で効率的なAIエージェントのパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-07-18T04:26:33Z)
• Generalizing Goal-Conditioned Reinforcement Learning with Variational Causal Reasoning [24.09547181095033]
  Causal Graphは、オブジェクトとイベントの関係に基づいて構築された構造である。 2つのステップを交互に行う理論性能保証フレームワークを提案する。 我々の業績改善は因果発見、遷移モデリング、政策トレーニングの活発なサイクルに起因する。
  論文  参考訳（メタデータ） (2022-07-19T05:31:16Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。