論文の概要: MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent

• arxiv url: http://arxiv.org/abs/2507.02259v1
• Date: Thu, 03 Jul 2025 03:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:15.484397
• Title: MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent
• Title（参考訳）: MemAgent:Multi-Conv RL-based Memory Agentによる長期LLMの再構築
• Authors: Hongli Yu, Tinghong Chen, Jiangtao Feng, Jiangjie Chen, Weinan Dai, Qiying Yu, Ya-Qin Zhang, Wei-Ying Ma, Jingjing Liu, Mingxuan Wang, Hao Zhou,
• Abstract要約: 我々は,セグメント内のテキストを読み,上書き戦略を用いてメモリを更新する新しいエージェントワークフローであるMemAgentを紹介した。 MemAgentは、32Kテキストでトレーニングされた8Kコンテキストから3.5M QAタスクへの外挿が可能で、パフォーマンスが5%低下し、512K RULERテストで95%以上を実現している。
• 参考スコア（独自算出の注目度）: 53.82053723030023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite improvements by length extrapolation, efficient attention and memory modules, handling infinitely long documents with linear complexity without performance degradation during extrapolation remains the ultimate challenge in long-text processing. We directly optimize for long-text tasks in an end-to-end fashion and introduce a novel agent workflow, MemAgent, which reads text in segments and updates the memory using an overwrite strategy. We extend the DAPO algorithm to facilitate training via independent-context multi-conversation generation. MemAgent has demonstrated superb long-context capabilities, being able to extrapolate from an 8K context trained on 32K text to a 3.5M QA task with performance loss < 5% and achieves 95%+ in 512K RULER test.
• Abstract（参考訳）: 長さ外挿、効率的な注意、メモリモジュールの改善にもかかわらず、外挿時の性能劣化なしに無限に長いドキュメントを線形に処理することは、長文処理における究極の課題である。 我々は、エンドツーエンドのタスクを直接最適化し、新しいエージェントワークフローであるMemAgentを導入し、セグメント内のテキストを読み出し、上書き戦略を使用してメモリを更新する。 DAPOアルゴリズムを拡張して、独立コンテキスト多言語生成によるトレーニングを容易にする。 MemAgentは、32Kテキストでトレーニングされた8Kコンテキストから3.5M QAタスクに、パフォーマンス損失が5%未満で、512K RULERテストで95%以上を達成することができる、非常に長いコンテキスト能力を実証した。

関連論文リスト

• MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
  我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。 各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。 その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
  論文  参考訳（メタデータ） (2025-06-18T19:44:46Z)
• From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models [54.44375226381814]
  長いコンテキスト機能は、ドキュメントやビデオの理解、コンテキスト内学習、推論時間スケーリングなど、幅広いアプリケーションに不可欠である。 コンテクスト長を128Kから1M,2M,4Mに制限し,コンテクスト長を128Kから4Mに抑えることで,超長コンテキストLCMを構築するための効率的なトレーニング手法を提案する。 提案手法は,多種多様な長文ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-08T16:58:58Z)
• GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models [58.08177466768262]
  大規模言語モデル(LLM)では、複雑なロングコンテクストのタスクに対処するためには、ロングコンテクストの能力が不可欠である。 グラフをグラフに構造化し、エージェントを使ってグラフを自律的に探索することで、長いテキストを扱うように設計されたグラフベースのエージェントシステムであるGraphReaderを紹介する。 LV-Evalデータセットの実験結果によると、GraphReaderは4kコンテキストウィンドウを使用して、16kから256kまでのコンテキスト長で一貫してGPT-4-128kを上回っている。
  論文  参考訳（メタデータ） (2024-06-20T17:57:51Z)
• XL$^2$Bench: A Benchmark for Extremely Long Context Understanding with Long-range Dependencies [45.31042312867939]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示しているが、その小さなコンテキストウィンドウサイズによって制約されている。 最大200Kの入力トークンに対応するために、コンテキストウィンドウを拡張するための様々な取り組みが提案されている。 XL$2$Bench という,長距離依存によるコンテキスト理解のためのベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-04-08T12:29:07Z)
• A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts [35.68159165639245]
  本実験では,有効文脈長を最大20倍に向上させるエージェントシステムであるReadAgentを提案する。 人間が長い文書を対話的に読む方法に触発され、簡単なプロンプトシステムとしてReadAgentを実装した。 本稿では,検索手法を用いてベースラインに対するReadAgentの評価を行い,元の長コンテキストを用いて,gistメモリを用いて評価する。
  論文  参考訳（メタデータ） (2024-02-15T05:40:21Z)
• Training With "Paraphrasing the Original Text" Improves Long-Context Performance [19.48556587305737]
  大きな言語モデル(LLM)は進化を続けており、長いコンテキスト入力を扱うように設計されている。 本研究では,LLMの学習能力を高めることを目的とした長文タスクのための学習データ設計手法を提案する。 LlamaおよびQwenのモデルを用いたLongBenchおよびNaturalQuestions Multi-document-QAデータセットの実験により,平均スコアが最大8.48%,4.48%向上した。
  論文  参考訳（メタデータ） (2023-12-18T13:40:16Z)
• Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading [63.93888816206071]
  我々は,長いコンテキストを要約ノードのツリーに処理する手法であるMemWalkerを紹介した。クエリを受信すると,モデルがこのツリーをナビゲートして関連する情報を検索し,十分な情報を収集すると応答する。 その結果,MemWalkerは,テキストを対話的に読み取る際の推論ステップを強調し,クエリに関連するテキストセグメントをピンポイントすることで,説明性の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-08T06:18:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。