論文の概要: InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation

• arxiv url: http://arxiv.org/abs/2504.01707v2
• Date: Thu, 03 Apr 2025 08:53:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:14.080553
• Title: InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation
• Title（参考訳）: InfiniteICL:長期記憶変換によるコンテキストウィンドウサイズ制限を破る
• Authors: Bowen Cao, Deng Cai, Wai Lam,
• Abstract要約: In-context Learning (ICL) は、大規模言語モデル(LLM)において重要であるが、その有効性は有限コンテキストウィンドウによって制約される。 本稿では,LLMにおけるコンテキストとパラメータを,短期記憶と長期記憶に並列化するフレームワークであるInfiniteICLを紹介する。 提案手法は,コンテキスト長を90%削減し,フルコンテキストプロンプトの平均性能を103%向上することを示した。
• 参考スコア（独自算出の注目度）: 57.310236384112834
• License:
• Abstract: In-context learning (ICL) is critical for large language models (LLMs), but its effectiveness is constrained by finite context windows, particularly in ultra-long contexts. To overcome this, we introduce InfiniteICL, a framework that parallels context and parameters in LLMs with short- and long-term memory in human cognitive systems, focusing on transforming temporary context knowledge into permanent parameter updates. This approach significantly reduces memory usage, maintains robust performance across varying input lengths, and theoretically enables infinite context integration through the principles of context knowledge elicitation, selection, and consolidation. Evaluations demonstrate that our method reduces context length by 90% while achieving 103% average performance of full-context prompting across fact recall, grounded reasoning, and skill acquisition tasks. When conducting sequential multi-turn transformations on complex, real-world contexts (with length up to 2M tokens), our approach surpasses full-context prompting while using only 0.4% of the original contexts. These findings highlight InfiniteICL's potential to enhance the scalability and efficiency of LLMs by breaking the limitations of conventional context window sizes.
• Abstract（参考訳）: In-context Learning (ICL) は、大規模言語モデル(LLM)において重要であるが、その有効性は、特に超長期のコンテキストにおいて、有限コンテキストウィンドウによって制約される。 これを解決するために、人間の認知システムにおいて、LLMにおける文脈とパラメータと短期記憶とを並列化するフレームワークであるInfiniteICLを導入し、一時的な文脈知識を恒久的なパラメータ更新に変換することに焦点を当てた。 このアプローチはメモリ使用量を大幅に削減し、様々な入力長さにわたって堅牢な性能を維持し、理論的にはコンテキスト知識の導出、選択、統合の原理を通じて無限のコンテキスト統合を可能にする。 評価の結果,提案手法は文脈長を90%削減する一方,実情の再現,基礎的推論,スキル獲得といったタスクにおいて,フルコンテクストの平均性能は103%向上した。 複雑な実世界のコンテキスト上で連続的なマルチターン変換を行う場合(最大2Mトークン)、本手法は元のコンテキストの0.4%しか使用せず、フルコンテキストのプロンプトを超える。 これらの知見は、従来のコンテキストウィンドウサイズ制限を破り、LLMのスケーラビリティと効率を高めるためのInfiniteICLの可能性を強調した。

関連論文リスト

• LIFT: Improving Long Context Understanding of Large Language Models through Long Input Fine-Tuning [45.30182393918228]
  Long Input Fine-Tuning (LIFT)は、ロングコンテキストモデリングのための新しいフレームワークである。 LIFTは長い入力に基づいてモデルパラメータを動的に適応する。 Gated Memoryは、長期入力記憶とICLを自動的にバランスをとる特別なアテンションアダプタである。
  論文  参考訳（メタデータ） (2025-02-20T15:32:24Z)
• InfiniteHiP: Extending Language Model Context Up to 3 Million Tokens on a Single GPU [48.105361428245736]
  大規模言語モデル(LLM)の推論フレームワークであるInfiniteHiPを紹介する。 モジュール型階層型トークンプルーニングアルゴリズムにより,無関係なコンテキストトークンを動的に除去する。 我々のフレームワークは、追加のトレーニングを必要とせず、100万のトークンコンテキストに対して18.95倍のアテンションデコーディングを実現する。
  論文  参考訳（メタデータ） (2025-02-13T02:52:01Z)
• InfiniPot: Infinite Context Processing on Memory-Constrained LLMs [17.111422610001227]
  InfiniPotは、トレーニング済みの大規模言語モデルで広範囲のシーケンスを効率的に管理できるように設計された、新しいKVキャッシュ制御フレームワークである。 InfiniPotは、将来のコンテキストにアクセスしなくても、重要なデータを効果的に維持する。 この研究は、広範囲の現実世界のシナリオに適用できるようにするための大きな言語モデルの実現に向けた大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-10-02T13:09:41Z)
• ReAttention: Training-Free Infinite Context with Finite Attention Scope [65.91272939057592]
  ReAttentionは、十分なメモリリソースの下で、有限の注意範囲を持つ無限のコンテキストをサポートするトレーニング不要のアプローチである。 本稿では,LongBench,L-Eval,InfiniteBenchにおけるReAttentionの性能を検証し,従来の手法と同等であることを示す。 LLaMA3.1-8B や Mistral-v0.3-7B など,LLaMA3.1-8B や Mistral-v0.3-7B など,LLaMA3.2-3B-chat のコンテキスト長を128$times$ から 4M に拡張して,LLaMA3.2-3B-chat のコンテキスト長を少なくとも 1M までサポートすることができる。
  論文  参考訳（メタデータ） (2024-07-21T14:23:37Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.12010207132204]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)
• Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding [11.5386284281652]
  動的インテキスト編集による情報検索を再現する新しい手法を提案する。 長大な文脈を拡張可能な外部知識として扱うことにより,本手法は対話的に関連情報を収集・統合する。 実験結果から,提案手法はコンテキスト限定LLMを効果的に活用し,マルチホップ推論に有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-18T06:54:28Z)
• Adapting LLMs for Efficient Context Processing through Soft Prompt Compression [1.1550486371582305]
  本稿では,大規模言語モデルを合理化された文脈処理のために戦略的に調整する,革新的なフレームワークを提案する。 我々の手法はSoftPromptCompと呼ばれ、動的に生成されたソフトプロンプトで自然言語をアマルガメイトし、簡潔でセマンティックに頑健な文脈の描写をフォージする。 我々は,我々のフレームワークが計算オーバーヘッドを著しく減らし,LLMの有効性を様々なベンチマークで向上させることを実証した。
  論文  参考訳（メタデータ） (2024-04-07T15:44:20Z)
• CLEX: Continuous Length Extrapolation for Large Language Models [68.43814043853347]
  大規模言語モデル(LLM)のためのCLEX(Continuous Longth Extrapolation)を提案する。 CLEXはコンテキストウィンドウを4倍または8倍のトレーニング長に拡張するが、性能は劣化しない。 我々のモデルは4k長でトレーニングされ、最先端のオープンソースモデルに対して最大32k長でトレーニングされた。
  論文  参考訳（メタデータ） (2023-10-25T08:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。