論文の概要: Faithfulness Is Not Free: Auditing Offline KV-Cache Quantization in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2608.30996v1
• Date: Mon, 31 Aug 2026 15:47:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.489589
• Title: Faithfulness Is Not Free: Auditing Offline KV-Cache Quantization in Retrieval-Augmented Generation
• Title（参考訳）: Fithfulnessは無料ではない - 検索拡張生成におけるオフラインKVキャッシュ量子化の検証
• Abstract要約: キーバリューキャッシュの量子化はストレージをさらに削減しますが、以前の作業では圧縮が忠実さを損なうかどうかを問いません。 我々はRGBとHotpotQAのQwen2.5-7B-インストラクションを評価し,精度と忠実度を測定した。
• 参考スコア（独自算出の注目度）: 0.13347958270801455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation systems can precompute and store key-value caches of retrieved documents to avoid re-encoding context at every query. Quantizing these caches further reduces storage, but no prior work asks whether compression damages faithfulness, whether responses remain grounded in the retrieved evidence. Faithfulness and accuracy are not equivalent: a model can produce a correct answer that is no longer supported by the context it was given. We evaluate Qwen2.5-7B-Instruct under INT8 and INT4 quantization on RGB and HotpotQA, measuring both accuracy and faithfulness with a hallucination detector, NLI entailment, and an LLM judge. INT8 is near-lossless across both metrics. INT4 reduces accuracy and, more critically, even among answers that remain factually correct, over 90% of faithfulness changes are negative, i.e., accuracy metrics are blind to this regression. The harm grows under noisy retrieval and with more retrieved chunks. Faithfulness must be audited before compressed caches are deployed.
• Abstract（参考訳）: Retrieval-augmented generation systemは、検索したドキュメントのキー値キャッシュをプリコンプリートし、保存し、クエリ毎に再エンコードするコンテキストを避ける。 これらのキャッシュの量子化はストレージをさらに削減するが、事前の作業では、圧縮が忠実さを損なうかどうか、そして、回収された証拠に応答が残されているかどうかを問うものはない。 忠実さと正確さは等価ではない:モデルは与えられた文脈でもはやサポートされない正しい答えを生成できる。 RGBおよびHotpotQAにおけるINT8およびINT4量子化によるQwen2.5-7B-インストラクタの評価を行い,幻覚検出器,NLI含量,LLM判定器を用いて精度と忠実度を測定した。 INT8は両方のメトリクスでほぼ無意味です。 INT4は精度を低下させ、さらに重要なことは、事実的に正しい答えであっても、忠実度の変化の90%以上は否定的である。 害は、騒々しい検索とより回収されたチャンクによって増大する。 圧縮キャッシュがデプロイされる前に、忠実さを監査しなければならない。

関連論文リスト

• EA-Graph: Artifact-Anchored Verification Memory for Coding Agents under Upstream Drift [0.0]
  アップストリームの変更の後、以前の検証のクレームがもはや有効ではないにもかかわらず、レポジトリは引き続き構築される可能性がある。 EA-Graphは、検証のためのアーティファクトアンコールメモリである。 それは、サブパスの粒度で人工物を表し、葉の定義にエイリアスを解決し、それを確立するために使用されるコンテンツに対する各主張をアンカーし、鮮度とは別個の証拠強度を保持する。
  論文  参考訳（メタデータ） (2026-08-04T23:13:32Z)
• Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression [42.94199567901975]
  KVキャッシュ圧縮は、一般に最終回答精度によって評価され、答えを保存することもそれをサポートする推論を保存することを暗黙的に仮定する。 我々は、この仮定を大きな推論モデルで検証し、失敗する可能性があることを示す。 数理的推論,科学的QA,臨床計算,長文検索の3つのモデルに対して,10個のトークン消去KV圧縮法と1つの量子化法を評価した。
  論文  参考訳（メタデータ） (2026-08-03T03:03:53Z)
• WitCert: Sound Runtime Risk Observability and Gating for KV-Cache Quantization [20.158719055939383]
  KV-cache量子化は今日、オフラインベンチマーク平均によって検証されている。 デプロイされたシステムは、現在提供されている要求に圧縮がダメージを与えているかどうかを判断できない。 KV量子化のためのDTraceを実証可能な健全なランタイムメータとして提供します。
  論文  参考訳（メタデータ） (2026-07-30T11:04:45Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• What Survives When You Compress a Recursive Reasoner for the Edge? [15.460381731793975]
  再帰的推論モデルは、潜伏状態を繰り返し更新することで、数百万のパラメータだけで複雑な構造化タスクを解くことができる。 攻撃的な圧縮は局所的な予測を保存するが、グローバルな推論を損なう。 我々は,この損傷とその回復を予測できるラベルのない信号として,フル精度推論経路に類似した搬送軌道の忠実さを導入する。
  論文  参考訳（メタデータ） (2026-06-25T00:47:15Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• DurableUn: Quantization-Induced Recovery Attacks in Machine Unlearning [8.466251176705423]
  INT4量子化は,bfloat16(BF16)において,モデルがコンプライアンス監査をパスしても,忘れられたコンテンツを復元することを示す。 我々は,NFLoRA方式において,アダプタ空間INT4量子化の下での非学習的ロバスト性に関する最初の体系的研究を行った。 Q-INT4 は FA と RA と並んで標準評価基準として採用されることが求められます。
  論文  参考訳（メタデータ） (2026-05-04T03:54:14Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory [52.44029486173232]
  Dynamic Cheatsheet(DC)は、永続的で進化するメモリを備えたブラックボックス言語モデルを提供する軽量フレームワークである。 DCは、蓄積した戦略、コードスニペット、および推論時に一般的な問題解決の洞察をモデルが保存し再利用することを可能にする。 このテストタイム学習は、明確な地味なラベルや人間のフィードバックを必要とせずに、幅広いタスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-10T17:57:33Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Strategically Conservative Q-Learning [89.17906766703763]
  オフライン強化学習(RL)は、RLの実用性を拡張するための魅力的なパラダイムである。 オフラインRLの最大の難しさは、オフ・オブ・ディストリビューション(OOD)アクションに遭遇する際の近似誤差の影響を緩和することである。 本稿では, 予測が容易かつ困難であるOODデータを識別する, SCQ(Strategical conservative Q-Learning) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T22:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。