論文の概要: Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers

• arxiv url: http://arxiv.org/abs/2506.01215v1
• Date: Sun, 01 Jun 2025 23:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.995343
• Title: Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers
• Title（参考訳）: 圧縮, ゲザ, 再計算: 変圧器における長期処理の変形
• Authors: Woomin Song, Sai Muralidhar Jayanthi, Srikanth Ronanki, Kanthashree Mysore Sathyendra, Jinwoo Shin, Aram Galstyan, Shubham Katiyar, Sravan Babu Bodapati,
• Abstract要約: REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
• 参考スコア（独自算出の注目度）: 58.98923344096319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models increasingly gain popularity in real-world applications, processing extremely long contexts, often exceeding the model's pre-trained context limits, has emerged as a critical challenge. While existing approaches to efficient long-context processing show promise, recurrent compression-based methods struggle with information preservation, whereas random access approaches require substantial memory resources. We introduce REFORM, a novel inference framework that efficiently handles long contexts through a two-phase approach. First, it incrementally processes input chunks while maintaining a compressed KV cache, constructs cross-layer context embeddings, and utilizes early exit strategy for improved efficiency. Second, it identifies and gathers essential tokens via similarity matching and selectively recomputes the KV cache. Compared to baselines, REFORM achieves over 50% and 27% performance gains on RULER and BABILong respectively at 1M context length. It also outperforms baselines on Infinite-Bench and MM-NIAH, demonstrating flexibility across diverse tasks and domains. Additionally, REFORM reduces inference time by 30% and peak memory usage by 5%, achieving both efficiency and superior performance.
• Abstract（参考訳）: 大規模言語モデルが現実世界のアプリケーションで人気を増すにつれ、非常に長いコンテキストを処理し、しばしば事前訓練されたコンテキスト限界を超えることが重要な課題となっている。 効率的な長文処理への既存のアプローチは将来性を示すが、繰り返し圧縮に基づく手法は情報保存に苦慮する一方、ランダムアクセスアプローチはかなりのメモリ資源を必要とする。 本稿では,2相アプローチによる長期コンテキストを効率的に処理する新しい推論フレームワークであるREFORMを紹介する。 まず、圧縮KVキャッシュを維持しながら入力チャンクを漸進的に処理し、層間コンテキスト埋め込みを構築し、早期終了戦略を利用して効率を向上する。 次に、類似性マッチングを通じて必須トークンを特定し、収集し、KVキャッシュを選択的に再計算する。 ベースラインと比較して、ReformはRULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。 さらに、Reformは推論時間を30%削減し、ピークメモリ使用量を5%削減する。

関連論文リスト

• Scaling Linear Attention with Sparse State Expansion [58.161410995744596]
  トランスフォーマーアーキテクチャは、2次計算と線形メモリ成長による長期コンテキストシナリオに苦慮している。 本稿では,情報分類として状態更新を概念化し,線形注意のための行スパース更新定式化を提案する。 次に、スパースフレームワーク内にスパース状態拡張(SSE)を示し、コンテキスト状態を複数のパーティションに拡張する。
  論文  参考訳（メタデータ） (2025-07-22T13:27:31Z)
• MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
  我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。 各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。 その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
  論文  参考訳（メタデータ） (2025-06-18T19:44:46Z)
• Overflow Prevention Enhances Long-Context Recurrent LLMs [41.8230324612529]
  LLMの最近のトレンドは、長いコンテキスト処理効率を改善するために、再帰的なサブクワッドラティックモデルの開発である。 本研究では,大規模な長期コンテキストモデルにおいて,その固定サイズ再帰記憶が性能に与える影響について検討する。 実験の結果、これらのモデルが拡張コンテキストでトレーニングされている場合でも、長いコンテキストの使用は未利用のままであることが判明した。
  論文  参考訳（メタデータ） (2025-05-12T17:45:05Z)
• ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs [7.958429361868486]
  本稿では,効率的なキャッシュ管理のための動的KVキャッシュ圧縮フレームワークZSMergeを提案する。 ZSMergeはメモリ効率と推論速度を無視可能な性能劣化で著しく向上させる。
  論文  参考訳（メタデータ） (2025-03-13T03:36:03Z)
• Does RAG Really Perform Bad For Long-Context Processing? [15.889864680212147]
  RetroLMは長文処理のための新しいフレームワークである。 従来の方法とは異なり、RetroLMはKVレベルの検索拡張を採用している。 この枠組みに基づいて,臨界ページの正確な検索を行うための特殊検索器を開発した。
  論文  参考訳（メタデータ） (2025-02-17T05:02:25Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.12010207132204]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Scaling Transformer to 1M tokens and beyond with RMT [5.60052250541419]
  変圧器によって解ける問題の範囲の広い大きな制限は、入力サイズによる計算複雑性の2次スケーリングである。 本研究では,入力コンテキスト長を線形にスケーリングしながら,事前学習したトランスフォーマーモデルの繰り返しメモリ拡張について検討する。 提案手法は,検索精度を高く保ちつつ,前例のない200万トークンのシーケンスの情報をメモリに格納できることを実証する。
  論文  参考訳（メタデータ） (2023-04-19T16:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。