論文の概要: Long Context Scaling: Divide and Conquer via Multi-Agent Question-driven Collaboration

• arxiv url: http://arxiv.org/abs/2505.20625v1
• Date: Tue, 27 May 2025 02:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.343319
• Title: Long Context Scaling: Divide and Conquer via Multi-Agent Question-driven Collaboration
• Title（参考訳）: ロングコンテキストスケーリング: マルチエージェントな質問駆動コラボレーションによる分割とコンカ
• Authors: Sibo Xiao, Zixin Lin, Wenyang Gao, Yue Zhang,
• Abstract要約: 長いコンテキストを処理するための新しいマルチエージェントフレームワークを提案する。 XpandA(Expand-Agent)は質問駆動ワークフローと動的パーティショニングと結合されている。 XpandAは、フルコンテキスト、RAGおよびそれ以前のエージェントベースのメソッドのベースラインに対する20%の改善と1.5倍の推論高速化を実現している。
• 参考スコア（独自算出の注目度）: 10.105945606268811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Processing long contexts has become a critical capability for modern large language models (LLMs). Existing works leverage agent-based divide-and-conquer methods for processing long contexts. But these methods face crucial limitations, including prohibitive accumulated latency and amplified information loss from excessive agent invocations, and the disruption of inherent textual dependencies by immoderate partitioning. In this paper, we propose a novel multi-agent framework XpandA (Expand-Agent) coupled with question-driven workflow and dynamic partitioning for robust long-context processing. XpandA overcomes these limitations through: 1) dynamic partitioning of long texts, which adaptively modulates the filling rate of context windows for input sequences of vastly varying lengths; 2) question-guided protocol to update flat information ensembles within centralized shared memory, constructing consistent inter-agent knowledge across partitions; and 3) selectively replaying specific partitions based on the state-tracking of question-information couples to promote the resolution of inverted-order structures across partitions (e.g., flashbacks). We perform a comprehensive evaluation of XpandA on multiple long-context benchmarks with length varying from 1k to 1M, demonstrating XpandA's feasibility for processing ultra-long sequences and its significant effectiveness in enhancing the long-context capabilities of various LLMs by achieving 20\% improvements and 1.5x inference speedup over baselines of full-context, RAG and previous agent-based methods.
• Abstract（参考訳）: 長いコンテキストを処理することは、現代の大規模言語モデル(LLM)にとって重要な機能となっている。 既存の作業では、長いコンテキストを処理するためのエージェントベースの分割/参照メソッドを活用している。 しかし、これらの手法は、過剰なエージェント呼び出しからの情報損失の増大や、イモモートパーティショニングによる本質的なテキスト依存の破壊など、重要な制限に直面している。 本稿では,マルチエージェントフレームワークXpandA(Expand-Agent)を提案する。 XpandAはこれらの制限を克服します。 1) 異なる長さの入力シーケンスに対するコンテキストウィンドウの充填率を適応的に調節する長文の動的分割 2 集中共有メモリ内のフラット情報アンサンブルを更新し、分割にまたがる一貫したエージェント間知識を構築するための質問誘導プロトコル 3)質問情報カップルの状態追跡に基づいて特定のパーティションを選択的に再生し、パーティション(例えばフラッシュバック)間の逆順序構造の解決を促進する。 我々は、XpandAを1kから1Mの長文ベンチマークで総合的に評価し、XpandAが超長文配列を処理可能であることを示すとともに、全文、RAGおよびそれ以前のエージェントベースメソッドのベースラインよりも20倍の改善と1.5倍の推論高速化を達成して、様々なLLMの長文機能向上に有効であることを示す。

関連論文リスト

• Towards Multi-Granularity Memory Association and Selection for Long-Term Conversational Agents [73.77930932005354]
  我々は,多粒度アソシエーション,適応選択,検索を構築することで,メモリ統合を向上するフレームワークであるMemGASを提案する。 MemGASは多粒度メモリユニットに基づいており、ガウス混合モデルを用いて新しい記憶と過去の記憶をクラスタリングし関連付けている。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)
• InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation [57.310236384112834]
  In-context Learning (ICL) は、大規模言語モデル(LLM)において重要であるが、その有効性は有限コンテキストウィンドウによって制約される。 本稿では,LLMにおけるコンテキストとパラメータを,短期記憶と長期記憶に並列化するフレームワークであるInfiniteICLを紹介する。 提案手法は,コンテキスト長を90%削減し,フルコンテキストプロンプトの平均性能を103%向上することを示した。
  論文  参考訳（メタデータ） (2025-04-02T13:15:44Z)
• Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs [23.960451986662996]
  本稿では,レトリーバル拡張生成(RAG)を特殊エンジニアリングとチェーンオブ思考推論によりエミュレートする手法を提案する。 我々は,BABILong から選択したタスクに対するアプローチを評価し,大量の散逸テキストを用いた標準 bAbI QA 問題をインターリーブする。
  論文  参考訳（メタデータ） (2025-02-18T02:49:40Z)
• Does RAG Really Perform Bad For Long-Context Processing? [15.889864680212147]
  RetroLMは長文処理のための新しいフレームワークである。 従来の方法とは異なり、RetroLMはKVレベルの検索拡張を採用している。 この枠組みに基づいて,臨界ページの正確な検索を行うための特殊検索器を開発した。
  論文  参考訳（メタデータ） (2025-02-17T05:02:25Z)
• LCIRC: A Recurrent Compression Approach for Efficient Long-form Context and Query Dependent Modeling in LLMs [10.84210988032097]
  本稿では,長文列をモデルの長さ制限を超えて効率的に処理できるLCIRC(Long-form Context Injection with Recurrent Compression)を提案する。 また、クエリ依存コンテキストモデリングを導入し、クエリ関連情報を選択的に圧縮し、モデルが最も関連するコンテンツを保持することを保証する。
  論文  参考訳（メタデータ） (2025-02-10T04:02:18Z)
• Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering [53.39158264785098]
  ビデオQA(Long-term Video Question Answering)は、視覚的および言語的ブリッジングの課題である。 マルチグラニュラリティ コントラスト クロスモーダル・コラボレーティブ・ジェネレーション・モデル。
  論文  参考訳（メタデータ） (2024-10-12T06:21:58Z)
• LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
  本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。 提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
  論文  参考訳（メタデータ） (2024-10-12T03:13:44Z)
• Chain of Agents: Large Language Models Collaborating on Long-Context Tasks [39.27648679819897]
  CoA(Chain-of-Agents)は、自然言語によるマルチエージェントコラボレーションを利用して、情報集約とコンテキスト推論を可能にする新しいフレームワークである。 CoAは読み出しと推論をインターリーブすることで入力全体を処理し、各エージェントに短いコンテキストを割り当てることで、長いコンテキストのフォーカス問題を軽減します。
  論文  参考訳（メタデータ） (2024-06-04T23:36:08Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。