論文の概要: PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory

• arxiv url: http://arxiv.org/abs/2608.03048v1
• Date: Tue, 04 Aug 2026 02:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.003772
• Title: PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory
• Title（参考訳）: PI-Mem: 並列Iterative Memoryによる360万トークンへのロングコンテキスト推論
• Authors: Dawei Liu, Haixu Song, Shuang Cheng, Shijie Wang, Haozheng Hou, Kaifeng Liu, Ermo Hua, Zhonghang Yuan, Zhijie Zhong, Yuchen Fan, Biqing Qi, Bowen Zhou,
• Abstract要約: 本稿では,チャンクの並列処理機構であるPI-Memを提案する。 我々は,HotpotQAベンチマークにおいて,最大360万トークンのPI-MemをQwen3.5-35B-A3B,Qwen2.5-7Bで評価した。
• 参考スコア（独自算出の注目度）: 30.188604861823823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context reasoning remains a critical bottleneck for large language models, as recent recurrent-memory approaches face two inherent challenges: sequential chunk-wise updates can overwrite early critical evidence with later irrelevant content, and serial inter-chunk dependencies limit parallelism and cause latency to increase with context length. To address these issues, we propose PI-Mem (Parallel-Iterative Memory), a mechanism that processes all chunks in parallel and iteratively refines a shared memory over a bounded number of turns. In each turn, PI-Mem reads all chunks in parallel conditioned on the current memory, selects new or complementary evidence from each chunk, and merges the selected evidence into a compact shared memory for the next turn. To discourage redundant turns, we optimize the workflow through reinforcement learning with an auxiliary turn-efficiency reward, enabling the model to adaptively exit once sufficient evidence has been accumulated. We evaluate PI-Mem with Qwen3.5-35B-A3B and Qwen2.5-7B on the HotpotQA benchmark across context lengths up to 3.6 million tokens and find that it outperforms the recurrent-memory baseline by +6.25 and +7.81 absolute points while achieving 6.1$\times$ and 2.1$\times$ inference speedups, respectively. These results demonstrate that PI-Mem breaks the accuracy--efficiency trade-off in long-context reasoning and provides a scalable approach to complex multi-hop question answering over extremely long documents.
• Abstract（参考訳）: 最近のリカレントメモリアプローチでは、シーケンシャルなチャンクワイズ更新は、後続の無関係なコンテンツで初期のクリティカルエビデンスを上書きでき、シリアルなチャンク間の依存関係は並列性を制限し、コンテキスト長で遅延を増大させる。 これらの問題に対処するため, PI-Mem (Parallel-Iterative Memory) を提案する。 各ターンで、PI-Memは現在のメモリに並列に設定されたすべてのチャンクを読み出し、各チャンクから新しいまたは補完的なエビデンスを選択し、選択したエビデンスを次のターンでコンパクトな共有メモリにマージする。 余分なターンを回避すべく、補助的なターン効率の報酬で強化学習を通してワークフローを最適化し、十分な証拠が蓄積されたらモデルが適応的に退避できるようにする。 我々は,HotpotQAベンチマークにおいて,Qwen3.5-35B-A3B と Qwen2.5-7B を用いて PI-Mem を最大360万のトークンで評価し,それぞれ 6.1$\times$ と 2.1$\times$ の推論スピードアップを達成しつつ,リカレントメモリベースラインを +6.25 と +7.81 の絶対点で上回っていることを確認した。 これらの結果は、PI-Memが長文推論における精度-効率トレードオフを破り、非常に長い文書に対して複雑なマルチホップ質問応答にスケーラブルなアプローチを提供することを示す。

関連論文リスト

• When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning [50.486479460454866]
  より安定かつ効率的な長文推論のための2つのテキスト制御ゲートを組み込んだGRU-Memを提案する。 GRU-Memは一般的に、最大400%の推論速度加速でバニラMemAgentを上回っている。
  論文  参考訳（メタデータ） (2026-02-11T06:14:53Z)
• Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning [47.87361916374891]
  本稿では,チャンクワイズ圧縮と選択的メモリリコールに基づく,効率的な長文推論のためのフレームワークを提案する。 このフレームワークは、長い入力をチャンクに分割し、各チャンクを学習圧縮機を用いて圧縮されたメモリ表現に符号化する。 ピークGPUメモリ使用量の最大2倍の削減と,MemAgent上での6倍の推論高速化を実現している。
  論文  参考訳（メタデータ） (2026-02-09T08:33:11Z)
• EverMemBench: Benchmarking Long-Term Interactive Memory in Large Language Models [16.865998112859604]
  EverMemBenchは、100万以上のトークンにまたがる多人数のマルチグループ会話を特徴とするベンチマークである。 EverMemBenchは、1000以上のQAペアを通じて3次元にわたるメモリシステムを評価する。
  論文  参考訳（メタデータ） (2026-02-01T16:13:08Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
  本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。 それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。 我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
  論文  参考訳（メタデータ） (2025-11-04T18:27:39Z)
• MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
  我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。 各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。 その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
  論文  参考訳（メタデータ） (2025-06-18T19:44:46Z)
• From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents [79.87304940020256]
  大言語モデル(LLM)は会話エージェントで広く採用されている。 MemGASは、多粒度アソシエーション、適応選択、検索を構築することにより、メモリ統合を強化するフレームワークである。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。