論文の概要: KEEP-Bench: Evaluating Evidence Preservation in Context Compression

• arxiv url: http://arxiv.org/abs/2610.26827v1
• Date: Mon, 19 Oct 2026 17:55:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:06:17.012551
• Title: KEEP-Bench: Evaluating Evidence Preservation in Context Compression
• Title（参考訳）: KEEP-Bench:コンテキスト圧縮におけるエビデンス保存の評価
• Abstract要約: 圧縮忠実度を4,102症例で直接評価する診断ベンチマークであるKEEP-Benchを紹介する。 実験によると、たとえ調整されたプロンプトであっても、最強のモデルは信頼性が低い。 本稿では,証拠リコールとFLOPを関連付ける指標として,エビデンス保存リターン(Evidence Preservation Return)を提案する。
• 参考スコア（独自算出の注目度）: 85.27126933000403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context compression improves long-context efficiency but may introduce faithfulness issues through an information bottleneck. Existing evaluations rely on QA metrics, but a reader can still answer correctly from an unfaithful compression, so these metrics underestimate such loss. To bridge this gap, we introduce KEEP-Bench, a diagnostic benchmark that directly assesses compression faithfulness with 4,102 cases across three challenging settings that require keeping evidence for plausible reference resolutions, explicit qualifiers, and minority perspectives. Experiments show that even with tailored prompting, the strongest models remain unreliable: despite context windows exceeding 100K tokens and inputs averaging only 3.1K tokens, the best open-weight model (31B) preserves all required evidence in only 66.8% of cases, and the best proprietary model in only 61.6%. Performance also varies sharply across evidence structures, so conclusions from limited structures may be biased. We further introduce a metric, Evidence Preservation Return (EPR), to relate evidence recall to inference FLOPs, and find that it peaks at moderate scales (4B-8B), where recall remains low. Additional output budget mainly benefits already strong models and widens capability gaps, yet the stronger preservation of these models comes at a steep computational cost. These findings highlight the importance for future work to investigate compressors with strong information preservation under a small computation budget, rather than relying on a large output budget or model scaling.
• Abstract（参考訳）: コンテキスト圧縮は、長いコンテキスト効率を改善するが、情報のボトルネックを通じて忠実性の問題を引き起こす可能性がある。 既存の評価はQAメトリクスに依存していますが、読者が不誠実な圧縮から正しく答えることができるため、これらのメトリクスはそのような損失を過小評価します。 このギャップを埋めるために、我々はKEEP-Benchという診断ベンチマークを導入しました。これは、3つの挑戦的な設定で4,102ケースの圧縮忠実度を直接評価します。 文脈ウィンドウが100Kトークンを超え、平均値が3.1Kトークンを超えるにもかかわらず、最良のオープンウェイトモデル(31B)は66.8%のケースで全ての必要証拠を保存し、61.6%のケースで最高のプロプライエタリモデルである。 性能もエビデンス構造によって大きく異なるため、限られた構造からの結論にはバイアスがかかる可能性がある。 さらに、エビデンス保存リターン(EPR)という指標を導入し、エビデンスリコールとFLOPの推論を関連付けるとともに、リコールが低い中規模(4B-8B)でピークとなることを確認する。 追加の出力予算は、主に既に強力なモデルと機能ギャップを拡大するが、これらのモデルのより強力な保存は、計算コストが急上昇する。 これらの知見は,大規模な生産予算やモデルスケーリングに頼るのではなく,少ない計算予算で情報保存の強い圧縮機を調査することの重要性を浮き彫りにしている。

関連論文リスト

• State of Thought Enables Endogenous Reasoning [48.902117018115256]
  大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。 LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。 SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
  論文  参考訳（メタデータ） (2026-09-13T05:55:03Z)
• ChestPheNoT: Deployable, Auditable Label-Status-Evidence Extraction from Radiology Reports [19.36830818587322]
  CESTPHENOTはコンパクトな0.5-3B言語モデルであり,ラベルの発見,3段階のステータス,動詞の支援を共同で抽出する。 その結果、ローカルにデプロイ可能なモデルが、競合的で直接監査可能なラジオロジーレポート抽出を提供することを示した。
  論文  参考訳（メタデータ） (2026-09-09T00:13:14Z)
• Cascaded Multi-Granularity Pruning for On-Device LLM Inference in Industrial IoT [4.775543545907101]
  本稿では, 層やアテンションヘッド, フィードフォワードチャネルを粗い順序で除去する多粒度刈取フレームワークを提案する。 情報理論解析は、この順序付けを動機付け、構造独立推定(SIA)はチェック可能な条件として定式化される。 NVIDIA DGX Sparkを使用した産業用スリーディングベアリング障害診断プラットフォーム上に展開され、圧縮されたモデルは推論遅延を67.2%、ピークメモリを62.5%削減した。
  論文  参考訳（メタデータ） (2026-06-25T10:44:48Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• Lie to Me: How Faithful Is Chain-of-Thought Reasoning in Reasoning Models? [0.0]
  CoT(Chain-of- Thought)推論は、安全クリティカルなデプロイメントにおける大規模言語モデルの透明性メカニズムとして提案されている。 本研究では,9つの建築家族を対象としたオープンウェイト推論モデルを498の質問に対して検討した。 41,832回の推論では、全体の忠実度は39.7% (Seed-1.6-Flash) から89.9% (DeepSeek-V3.2- Speciale) まで変化している。
  論文  参考訳（メタデータ） (2026-03-23T21:21:37Z)
• CoT-X: An Adaptive Framework for Cross-Model Chain-of-Thought Transfer and Optimization [5.857877898558651]
  CoT(Chain-of-Thought)推論は、大規模言語モデル(LLM)の問題解決能力を高めるが、かなりの推論オーバーヘッドをもたらす。 本稿では、適応的推論要約フレームワークを用いて、異なるスケールとアーキテクチャのモデル間での効率的なCoT転送について検討する。
  論文  参考訳（メタデータ） (2025-11-07T22:35:31Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。