論文の概要: Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

• arxiv url: http://arxiv.org/abs/2505.07596v1
• Date: Mon, 12 May 2025 14:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.424115
• Title: Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent
• Title（参考訳）: 効率的な適応探索エージェントのための強化内外的知識の相乗的推論
• Authors: Ziyang Huang, Xiaowei Yuan, Yiming Ju, Jun Zhao, Kang Liu,
• Abstract要約: 本稿では、強化内外的知識相乗的推論エージェント(IKEA)を紹介する。 池Aは、内部知識が不十分と判断された場合にのみ外部探索に頼って、独自の知識境界を確定し、内部知識の利用を優先することができる。 IKEAはベースライン法を著しく上回り、検索回数を大幅に削減し、堅牢な一般化能力を示す。
• 参考スコア（独自算出の注目度）: 13.38972389476201
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Retrieval-augmented generation (RAG) is a common strategy to reduce hallucinations in Large Language Models (LLMs). While reinforcement learning (RL) can enable LLMs to act as search agents by activating retrieval capabilities, existing ones often underutilize their internal knowledge. This can lead to redundant retrievals, potential harmful knowledge conflicts, and increased inference latency. To address these limitations, an efficient and adaptive search agent capable of discerning optimal retrieval timing and synergistically integrating parametric (internal) and retrieved (external) knowledge is in urgent need. This paper introduces the Reinforced Internal-External Knowledge Synergistic Reasoning Agent (IKEA), which could indentify its own knowledge boundary and prioritize the utilization of internal knowledge, resorting to external search only when internal knowledge is deemed insufficient. This is achieved using a novel knowledge-boundary aware reward function and a knowledge-boundary aware training dataset. These are designed for internal-external knowledge synergy oriented RL, incentivizing the model to deliver accurate answers, minimize unnecessary retrievals, and encourage appropriate external searches when its own knowledge is lacking. Evaluations across multiple knowledge reasoning tasks demonstrate that IKEA significantly outperforms baseline methods, reduces retrieval frequency significantly, and exhibits robust generalization capabilities.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、Large Language Models (LLM) における幻覚を減らすための一般的な戦略である。 強化学習(RL)は、検索機能を活性化することでLLMを検索エージェントとして機能させることができるが、既存の学習は内部知識を過小評価することが多い。 これは冗長な検索、潜在的に有害な知識の衝突、推論遅延の増加につながる可能性がある。 これらの制限に対処するため、最適な検索タイミングを識別し、パラメトリック(内部)と検索された(外部)知識を相乗的に統合できる効率的で適応的な検索エージェントが緊急に必要である。 本稿では, 内部知識が不十分と判断された場合にのみ, 内部知識の活用を優先し, 自己の知識境界を具体化し, 内部知識の活用を優先するReinforced Internal-External Knowledge Synergistic Reasoning Agent(IKEA)を紹介する。 これは、知識境界対応型報酬関数と知識境界対応型トレーニングデータセットを用いて達成される。 これらは、内部外部知識のシナジー指向RLのために設計されており、正確な回答を提供するためのモデルにインセンティブを与え、不要な検索を最小化し、自身の知識が欠如している場合に適切な外部検索を促進する。 複数の知識推論タスクに対する評価は、IKEAがベースライン法を著しく上回り、検索頻度を著しく低減し、堅牢な一般化能力を示すことを示している。

関連論文リスト

• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Reliability Across Parametric and External Knowledge: Understanding Knowledge Handling in LLMs [11.860265967829884]
  大規模言語モデル(LLM)はパラメトリックと外部の知識を活用することで問題解決能力を高める。 本稿では,パラメトリック知識の存在と外部知識の情報性という2つの重要な側面に基づいて,知識処理を解析するための枠組みを提案する。 知識処理シナリオに基づいて構築されたデータによるトレーニングは、知識の統合と活用におけるLLMの信頼性を向上させることを実証する。
  論文  参考訳（メタデータ） (2025-02-19T11:49:23Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• KTRL+F: Knowledge-Augmented In-Document Search [25.71369820419566]
  知識を付加した文書内検索タスクであるKTRL+Fを導入する。 幻覚、高いレイテンシ、あるいは外部知識を活用する上での困難といった、既存のモデルの制限を見つけます。 本稿では,高速化と性能の両立を図った知識付加句検索モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:18:08Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [69.50273822565363]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。