論文の概要: KV-Cache Patching: Tracing How and Where Fine-Tuned Behaviors Arise

• arxiv url: http://arxiv.org/abs/2610.41480v1
• Date: Fri, 30 Oct 2026 09:35:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.67205
• Title: KV-Cache Patching: Tracing How and Where Fine-Tuned Behaviors Arise
• Title（参考訳）: KVキャッシュのパッチ: 微調整された振る舞いの出現の方法と発生場所の追跡
• Abstract要約: 言語モデルの微調整は反応の仕方を変えるが、この微調整された振る舞いはどこでインスタンス化されるのか? モデル行動の変化は,変化が現れる応答トークンの生成時にのみ発生するのか,あるいは注意機構を介して過去のトークンの処理が引き起こされるのかを評価する。 以上の結果から,ドイツ語の応答や創発的ミスアライメント,KVキャッシュのパッチなど,いくつかの動作が,微調整されたKVキャッシュからベースモデルに転送できることが示唆された。
• 参考スコア（独自算出の注目度）: 5.538309470663662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning a language model changes how it responds, but where is this fine-tuned behavior instantiated? To better understand this, we evaluate whether the change in model behavior arises only during the generation of the answer tokens where the change manifests, or whether altered processing of previous tokens causes it via the attention mechanism. For this, we patch the KV cache from a LoRA fine-tuned model into the unmodified base model, and vice versa. Our results show that for some behaviors, like responding in German or emergent misalignment, patching the KV cache can indeed transfer them from the fine-tuned to the base model. Correspondingly, patching the KV cache from base to fine-tune can partially or fully remove fine-tuned behavior. Furthermore, we find that the effect of patching grows with how much of the KV cache is patched and concentrates at a few pivotal positions, with system-prompt and chat-template tokens having disproportionate influence.
• Abstract（参考訳）: 言語モデルの微調整は反応の仕方を変えるが、この微調整された振る舞いはどこでインスタンス化されるのか? これをよりよく理解するために、モデル行動の変化が、変化が現れる応答トークンの生成時にのみ発生するのか、それとも、過去のトークンの処理が注意機構を介して引き起こされるのかを評価する。 このため、LoRAファインチューニングモデルからKVキャッシュを修正されていないベースモデルにパッチする。 以上の結果から,ドイツ語の応答や創発的ミスアライメント,KVキャッシュのパッチなど,いくつかの動作が,微調整されたKVキャッシュからベースモデルに転送できることが示唆された。 それに対応して、KVキャッシュをベースからファインチューンにパッチすることで、微調整された振る舞いを部分的にあるいは完全に取り除くことができる。 さらに,KVキャッシュがどれだけパッチされているかによってパッチの効果が増大し,システムプロンプトやチャットテンポレートトークンなど,いくつかの重要な位置に集中することが判明した。

関連論文リスト

• GlitchPatch: Repairing Glitch Tokens in Frozen Language Models via Local Retokenization [52.5302018047534]
  グリッチトークンは異常な語彙のエントリであり、大きな言語モデルが一貫性のない出力を生成する可能性がある。 GlitchPatchは,局所的再トークン化に基づくフリーズ言語モデルの修復フレームワークである。 6つのトークンライザファミリーにまたがる10モデルの実験では、GlitchPatchの平均固定率は85.10%であり、最強のベースラインを14.37ポイント上回っている。
  論文  参考訳（メタデータ） (2026-10-03T09:44:13Z)
• PatchKV: Weight-Space Compensation of KV Cache [15.880081995247473]
  LLM(Long-Context Inference with Large Language Models)は、キー値(KV)キャッシュの線形的に増大するメモリによってボトルネックとなる。 本稿では,KVキャッシュ圧縮手法を補償する学習自由フレームワークであるPatchKVを提案する。
  論文  参考訳（メタデータ） (2026-09-30T09:01:52Z)
• CacheReforge: Bounded Recovery for Stale KV Caches under Evolving Adapters [19.335974130332787]
  KVキャッシュを階層的に混合変換オブジェクトとして表現するCacheReforgeを導入する。 16K HotpotQA と 2WikiMQA のワークロードを含む連続的な LoRA 更新で Qwen2.5-1.5B と Qwen2.5-7B で評価した。
  論文  参考訳（メタデータ） (2026-09-25T06:46:47Z)
• Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models [13.470265014002772]
  Scratchpad Patching (SP)を導入し、各パッチに一貫したスクラッチパッドを挿入して、これまで見てきたバイトを集約し、その後の予測のためにパッチレベルのコンテキストを更新する。 SPは、自然言語とコードの実験で同じパッチサイズでモデル品質を改善する。
  論文  参考訳（メタデータ） (2026-05-10T16:18:22Z)
• AtPatch: Debugging Transformers via Hot-Fixing Over-Attention [25.63529551684826]
  トランスフォーマーベースのディープニューラルネットワーク(DNN)は、バックドア攻撃や不公平さの影響を受け、通常異常な注意パターンを示す。 本研究では,モデル推論中にアテンションマップを動的に再分割するホットフィックス手法であるAtPatchを提案する。 AtPatchは、バックドア攻撃や不公平性を効果的に軽減し、モデルの本来の機能をよりよく保存する。
  論文  参考訳（メタデータ） (2026-01-29T13:29:35Z)
• Whose Narrative is it Anyway? A KV Cache Manipulation Attack [1.1011268090482578]
  ヒストリースワッピング(History Swapping)は、KVキャッシュを操作して、ユーザ側のプロンプトを変更することなくモデル生成を操る、新しいブロックレベルの攻撃である。 この研究は、KVキャッシュが、文脈だけでなくトピックの軌跡や構造的計画もエンコードしているため、セキュリティ分析の重要なベクタであることを示している。
  論文  参考訳（メタデータ） (2025-11-16T19:38:28Z)
• AttentionPredictor: Temporal Patterns Matter for KV Cache Compression [64.75459635661562]
  我々は,KVキャッシュ圧縮とクリティカルトークン識別のための注意パターンを直接予測する,学習に基づく最初の手法であるAttentionPredictorを提案する。 AttentionPredictorは、注意スコアを正確に予測し、無視可能なメモリを消費する統一予測モデルを共有する。 注意情報の大半を保持することで、AttentionPredictorは、キャッシュオフロードシナリオで13$times$KVキャッシュ圧縮と5.6$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-06T13:41:46Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。