論文の概要: Cache2LoRA: Understanding and Improving Context Internalization

• arxiv url: http://arxiv.org/abs/2610.24107v1
• Date: Fri, 16 Oct 2026 18:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 11:02:38.593927
• Title: Cache2LoRA: Understanding and Improving Context Internalization
• Title（参考訳）: Cache2LoRA:コンテキスト内部化の理解と改善
• Abstract要約: Context-to-LoRAメソッドはドキュメントを低ランクのパラメータ更新としてエンコードする。 これらのアップデートは、事実を確実に保存し、異なる指示の下での使用をサポートするか? Cache2LoRAは、LoRA更新を生成する前に、各クエリを使用して再利用可能なフリーズドドキュメントキャッシュからエビデンスを集約する。 17タスクにわたって、Cache2LoRAは既存のコンテキストからローラまでのメソッドを改善し、0.663のマクロF1を達成する。
• 参考スコア（独自算出の注目度）: 15.516029534852606
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Context-to-LoRA methods encode documents as low-rank parameter updates, allowing language models to answer without retaining the source text in their decoding context. How reliably do these updates preserve facts and support their use under different instructions? Controlled diagnosis of existing context-to-LoRA methods separates fact discrimination, target retention, and response adaptation. Competing sources influence answers, while target-only construction and memory-state optimization improve recovery at fixed update size. Recovering facts also does not ensure that answers follow response instructions. We introduce Cache2LoRA, which uses each query to aggregate evidence from a reusable frozen document cache before generating LoRA updates. Trainable encoding operates only on the query and memory-token suffix, and multi-style supervision teaches both evidence preservation and answer expression. Across 17 tasks, Cache2LoRA improves on existing context-to-LoRA methods and achieves macro F1 of 0.663, approaching full-context in-context learning at 0.671. For 32K documents and 256-token outputs at batch size 16, its decoding throughput is 5.9$\times$ that of full-context ICL. At matched memory size, generated LoRA preserves answer accuracy more reliably than the learned-KV variant under long, diverse intervening text and combines more effectively with retained document KV, yielding higher hybrid F1 and EM.
• Abstract（参考訳）: Context-to-LoRAメソッドはドキュメントを低ランクのパラメータ更新としてエンコードする。 これらのアップデートは、事実を確実に保存し、異なる指示の下での使用をサポートするか? 既存の文脈対LoRA法の制御された診断は、事実識別、目標保持、応答適応を分離する。 競合ソースは回答に影響を与えるが、ターゲットのみの構成とメモリ状態の最適化は、固定された更新サイズでのリカバリを改善する。 事実を復元しても、回答が応答指示に従うことは保証されない。 Cache2LoRAは、LoRA更新を生成する前に、各クエリを使用して再利用可能なフリーズドドキュメントキャッシュからエビデンスを集約する。 トレーニング可能なエンコーディングは、クエリとメモリトーケン接尾辞のみで動作し、マルチスタイルの指導はエビデンス保存と応答表現の両方を教える。 17タスクにわたって、Cache2LoRAは既存のコンテキストからローラまでのメソッドを改善し、0.663のマクロF1を達成する。 32Kドキュメントと256token出力のバッチサイズ16の場合、復号スループットは5.9$\times$フルコンテキストICLである。 一致したメモリサイズにおいて、生成されたLoRAは、長い多種多様なインターベンションテキストの下で、学習されたKV変種よりも確実に回答精度を保持し、保持された文書KVとより効果的に結合し、より高いハイブリッドF1およびEMを生成する。

関連論文リスト

• Rethinking LoRA Memory Through the Lens of KV Cache Compression [41.571685922015455]
  パラメトリック検索は文書情報をLoRAアダプタなどの文書固有のモジュールにエンコードする。 我々は,このパラメータ側メモリが,KVキャッシュに格納されたコンテキスト側メモリとどのように相互作用するかを検討する。 我々は、KVキャッシュがほとんど無傷である場合にLoRAはほとんど追加しないが、アグレッシブ圧縮下ではますます有用になると考えている。
  論文  参考訳（メタデータ） (2026-06-04T04:35:45Z)
• NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
  NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。 大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-26T14:35:27Z)
• Training Large Reasoning Models Efficiently via Progressive Thought Encoding [63.254758972725654]
  大規模推論モデル(LRM)は複雑な問題に優れるが、効率にとって重要な障壁に直面している。 本稿では,パラメータ効率のよい微調整手法であるProgressive Thoughtを紹介する。
  論文  参考訳（メタデータ） (2026-02-18T20:03:38Z)
• Residual Context Diffusion Language Models [90.07635240595926]
  Residual Context Diffusion (RCD) は、捨てられたトークン表現をコンテキスト残留に変換し、次のデノイングステップでそれらを注入するモジュールである。 RCDは、最小限の計算オーバーヘッドで、5-10ポイントの精度でフロンティアdLLMを一貫して改善する。
  論文  参考訳（メタデータ） (2026-01-30T13:16:32Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers [58.98923344096319]
  REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
  論文  参考訳（メタデータ） (2025-06-01T23:49:14Z)
• KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse [30.48395228595732]
  KVLinkは、大規模言語モデル(LLM)における効率的なキー値(KV)キャッシュ再利用のためのアプローチである。 KVLinkは、連結後のグローバルな位置と一致するように、推論時にKVキャッシュの位置埋め込みを調整することと、自己注意を回復するためにトレーニング可能な特別なトークンを使用することである。 7つのデータセットにわたる実験によると、KVLinkは最先端の手法よりも平均4%の精度で質問応答を改善する。
  論文  参考訳（メタデータ） (2025-02-21T23:34:29Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。