論文の概要: The Optimization Landscape of Learning Compacted Context Models

• arxiv url: http://arxiv.org/abs/2610.05885v1
• Date: Mon, 05 Oct 2026 07:00:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:30:11.001503
• Title: The Optimization Landscape of Learning Compacted Context Models
• Title（参考訳）: 学習型コンテクストモデルの最適化ランドスケープ
• Abstract要約: より単純化されたPerceiverベースのアーキテクチャは、連続したコンテキストのコンパクト化において、完全なPerceiver変換器の性能と一致することを示す。 結果はファイナンス、法務、グーテンベルク、コードにまたがるタスクで示されます。
• 参考スコア（独自算出の注目度）: 2.9798889615468114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many works approach continual learning through the lens of infinite context windows. As an agent puts more observation into context (concretely the KV cache), compacting said context is akin to direct memory manipulation, without affecting the base model's weights. Many works pose KV compaction as an optimization problem: learn a smaller set of KV vectors that matches the behavior of the full KV cache. While this preserves base model behavior, optimizing through a frozen base model results in a highly nontrivial optimization problem with a brittle and flat loss landscape. In this paper, we characterize what makes these optimization problems difficult and demonstrate that a heavily simplified Perceiver-based architecture not only matches performance of a full Perceiver transformer in continuous context compaction, but outperforms baselines on compaction utility. Results are presented on MCQ tasks across Finance, Legal, Gutenberg, and Code.
• Abstract（参考訳）: 多くの研究が無限コンテキストウィンドウのレンズを通して連続的な学習にアプローチしている。 エージェントがコンテキスト(つまりKVキャッシュ)により多くの観察を組み込むと、そのコンテキストのコンパクト化は、ベースモデルの重みに影響を与えずに、直接メモリ操作に似ている。 多くの研究が最適化問題としてKVコンパクト化(英語版)を挙げており、完全なKVキャッシュの挙動に一致する小さなKVベクトルの集合を学習する。 これはベースモデルの挙動を保っているが、凍結されたベースモデルを通して最適化すると、脆く平らなロスランドスケープを伴う非常に非自明な最適化問題が発生する。 本稿では、これらの最適化問題をいかに困難にするかを特徴付け、Perceiverをベースとしたアーキテクチャが、連続的なコンテキスト圧縮におけるフルPerceiver変換器の性能に適合するだけでなく、圧縮ユーティリティのベースラインよりも優れていることを示す。 結果はファイナンス、法務、グーテンベルク、コードにまたがるMCQタスクで示されます。

関連論文リスト

• Fast KV Compaction via Attention Matching [36.70038515897491]
  この研究は、注意マッチングによる潜在空間における高速な文脈コンパクト化のアプローチを記述する。 この定式化は自然に単純な部分プロブレムに分解され、その一部は効率的な閉形式解を持つ。
  論文  参考訳（メタデータ） (2026-02-18T09:06:53Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
  大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。 ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models [1.5807079236265718]
  KENはカーネル密度推定(KDE)に基づく単純で普遍的で非構造化プルーニングアルゴリズムである Kenは、最適化されたトランスフォーマーを構築することを目的としており、最も重要なパラメータを選択的に保存し、他のパラメータをトレーニング前の状態に復元する。 Kenは、元の未実行バージョンと同等かそれ以上のパフォーマンスを達成し、パラメータの最小25%の削減を実現している。
  論文  参考訳（メタデータ） (2024-02-05T16:11:43Z)
• Efficient Contextformer: Spatio-Channel Window Attention for Fast Context Modeling in Learned Image Compression [1.9249287163937978]
  学習画像に対する変換器に基づく自己回帰的文脈モデルである、効率的なコンテキストフォーマ(eContextformer)を導入する。 並列コンテキストモデリングのためのパッチワイド、チェッカー、チャンネルワイドのグルーピングテクニックを融合する。 モデル複雑性が145倍、デコード速度が210Cx向上し、Kodak、CLI、Tecnickデータセット上での平均ビット節約を実現している。
  論文  参考訳（メタデータ） (2023-06-25T16:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。