論文の概要: Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

• arxiv url: http://arxiv.org/abs/2505.21471v1
• Date: Tue, 27 May 2025 17:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.83873
• Title: Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration
• Title（参考訳）: マルチエージェントコラボレーションによるLLMのコンテキストウィンドウを越えた外部知識入力のスケーリング
• Authors: Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu,
• Abstract要約: 大規模言語モデル(LLM)は、複雑なタスクを解決するために大量の検索された知識を組み込むことができる。 既存のコンテキストウィンドウ拡張メソッドは、必然的に情報損失を引き起こす。 ボトルネックを克服するためのマルチエージェントフレームワークである$textbfExtAgents$を開発します。
• 参考スコア（独自算出の注目度）: 38.63721941742435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, $\textbf{ExtAgents}$, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $\textbf{$\boldsymbol{\infty}$Bench+}$, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls $\textit{within or exceeds the context window}$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.
• Abstract（参考訳）: 推論と情報探索のためのポストトレーニング技術の急速な進歩により、大規模言語モデル(LLM)は複雑な課題を解決するために大量の知識を組み込むことができる。 しかし、LLMの限られたコンテキストウィンドウは、外部知識の入力量を拡大し、特に大量の外部知識を必要とするタスクにおいて、さらなる改善を妨げている。 既存のコンテキストウィンドウ拡張メソッドは、必然的に情報損失を引き起こす。 LLMをベースとしたマルチエージェント手法は,既存の知識同期と推論プロセスにおける2つの中心的ボトルネックを特定するために,分布的に大規模入力を処理する新しいパラダイムとして出現する。 本研究では,このボトルネックを克服し,長期のコンテキストトレーニングを伴わずに推論時知識統合のスケーラビリティを向上させるために,マルチエージェントフレームワークである$\textbf{ExtAgents}$を開発する。 強化されたマルチホップ質問応答テスト、$\textbf{$\boldsymbol{\infty}$Bench+}$、および長いサーベイ生成を含む他の公開テストセットとベンチマークした結果、ExtAgentsは、$\textit{withinに該当するかコンテキストウィンドウを超えるかに関わらず、同じ量の外部知識入力を持つ既存の非トレーニングメソッドよりもパフォーマンスを大幅に向上します。 さらに,高並列性により高い効率性を維持する。 外部知識入力の増大に対するLLMエージェントの協調に関するさらなる研究は、現実世界の応用に有用である。

関連論文リスト

• KnowTrace: Bootstrapping Iterative Retrieval-Augmented Generation with Structured Knowledge Tracing [64.38243807002878]
  我々は、大規模言語モデルにおけるコンテキスト過負荷を軽減するためのエレガントなRAGフレームワークであるKnowTraceを紹介する。 KnowTraceは、必要な知識三つ子を自律的に追跡して、入力された質問に関連する特定の知識グラフを整理する。 3つのマルチホップ質問応答ベンチマークで、既存のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-26T17:22:20Z)
• Knowledge-Aware Iterative Retrieval for Multi-Agent Systems [0.0]
  本稿では,新しい大規模言語モデル (LLM) によるエージェントフレームワークを提案する。 動的に進化する知識を活用することで、クエリを反復的に洗練し、文脈的証拠をフィルタリングする。 提案システムは、更新されたコンテキストの競合的および協調的な共有をサポートする。
  論文  参考訳（メタデータ） (2025-03-17T15:27:02Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• Augmenting Multimodal LLMs with Self-Reflective Tokens for Knowledge-based Visual Question Answering [44.008094698200026]
  本稿では,外部知識ソースを統合することでMLLMの適応性を高める新しい手法を提案する。 提案するモデルであるReflectiVA(ReflectiVA)では,反射トークンを用いて外部知識の必要性を動的に判定する。 これにより、MLLMは外部知識が不要なタスクにおいて、レイテンシとパフォーマンスを保ちながら、外部知識を管理することができる。
  論文  参考訳（メタデータ） (2024-11-25T19:01:03Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。