論文の概要: Separating Constraint Compliance from Semantic Accuracy: A Novel Benchmark for Evaluating Instruction-Following Under Compression

• arxiv url: http://arxiv.org/abs/2512.17920v1
• Date: Tue, 02 Dec 2025 13:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-29 00:37:57.050395
• Title: Separating Constraint Compliance from Semantic Accuracy: A Novel Benchmark for Evaluating Instruction-Following Under Compression
• Title（参考訳）: 意味的正確性から制約コンプライアンスを分離する:圧縮下での指示追従の評価のための新しいベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、即時圧縮の下で劣化した性能を示す。 制約コンプライアンス(CC)と意味精度(SA)を測定するベンチマークであるCompressionDecay Test(CDCT)を導入する。 制約コンプライアンス(97.2%の有病率)における普遍的なU曲線パターンを観察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit degraded performance under prompt compression, but the mechanisms remain poorly understood. We introduce the Compression-Decay Comprehension Test (CDCT), a benchmark that independently measures constraint compliance (CC) and semantic accuracy (SA) across compression levels. We evaluate 9 frontier LLMs across 8 concepts using 5 compression levels from extreme (c=0.0, ~2 words) to none (c=1.0, ~135 words). A three-judge LLM jury achieves almost perfect inter-rater agreement on CC (Fleiss' \k{appa}=0.90). We observe a universal U-curve pattern in constraint compliance (97.2% prevalence), with violations peaking at medium compression (c=0.5, ~27 words). Counterintuitively, models perform better at extreme compression than medium lengths. The dimensions are statistically orthogonal (r=0.193, p=0.084), with constraint effects 2.9x larger than semantic effects. Experimental validation via RLHF ablation confirms our constraint salience hypothesis: removing "helpfulness" signals improves CC by 598% on average (71/72 trials, p<0.001), with 79% achieving perfect compliance. This demonstrates that RLHF-trained helpfulness behaviors are the dominant cause of constraint violations at medium compression. Reasoning models outperform efficient models by 27.5% (Cohen's d=0.96). Our findings reveal a fundamental tension between RLHF alignment and instruction-following, providing actionable guidelines for improving deployed systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、即時圧縮下での劣化した性能を示すが、メカニズムはよく理解されていない。 本稿では,圧縮レベルの制約コンプライアンス (CC) と意味的精度 (SA) を独立に測定するベンチマークであるCompression-Decay Comprehension Test (CDCT) を紹介する。 極端(c=0.0, ~2語)から非(c=1.0, ~135語)までの5つの圧縮レベルを用いて、8つの概念にわたる9つのフロンティアLCMを評価する。 LLM審査員は、CC(Fleiss' \k{appa}=0.90)についてほぼ完全に相互に合意する。 制約順守(97.2%有病率)における普遍的なU曲線パターンを観察し、中圧縮(c=0.5, ~27語)における違反をピークとする。 反対に、モデルは中の長さよりも極端な圧縮において優れた性能を発揮する。 次元は統計的に直交する(r=0.193, p=0.084)。 RLHFアブレーションによる実験的検証は、我々の制約塩分濃度仮説を裏付けるものであり、"helpfulness"信号の除去は平均で598%改善し(71/72試験, p<0.001)、79%の完全コンプライアンスが達成された。 このことは、RLHFを訓練した有用性行動が中規模圧縮における制約違反の主要な原因であることを示している。 推論モデルは効率を27.5%向上させる(コーエンのd=0.96)。 本研究は,RLHFアライメントと命令追従の基本的な緊張関係を明らかにし,運用システムを改善するための実用的なガイドラインを提供する。

関連論文リスト

• On the Interaction Between Model Compression and Test-Time Adaptation [16.18375474723875]
  構造圧縮が分散シフトの下でモデルに適応する能力にどのように影響するかを解析する。 本稿では,表現表現性と適応部分空間の互換性を検討するための診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-03T09:49:29Z)
• CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield [1.2203679037551938]
  計算効率のよい言語モデルを学習するための3つの手法について検討する。 SGTはセマンティックペイロードを持つ出力トークンの15%を監督する。 リカレントリカバリによる 深度圧縮 韓国の基盤モデルであるCHERRY-1.8Bでこれらの手法を検証する。
  論文  参考訳（メタデータ） (2026-06-30T15:14:38Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Does Compression Preserve Uncertainty? A Unified Benchmark for Quantized and Sparse LLMs via Conformal Prediction [21.411353047208777]
  5つのNLPタスクにまたがる様々な圧縮構成の下で、12の大規模言語モデル(LLM)をベンチマークする。 実験の結果, (I) 圧縮は精度を不確実性から分離することが多く, (II) より大きなモデルでは圧縮誘起不確実性をより効果的に吸収し, (III) 不確実性インフレーションは段階的にではなくしきい値に近いことが多いことがわかった。
  論文  参考訳（メタデータ） (2026-06-01T08:00:17Z)
• AGORA: Adapter-Grounded Observation-Action Retention for Inference-Free Prompt Compression in LLM Agents [3.9004035576487817]
  トークンレベルの抽出圧縮機はLLM剤には構造的に不適切であることを示す。 本稿では,構造的プロンプトを組み込んだ推論不要なステップレベル圧縮機であるAGORAについて紹介する。
  論文  参考訳（メタデータ） (2026-05-26T06:29:44Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation [0.0]
  DriftBenchは、科学的思考における制約の順守を評価するためのベンチマークである。 繰り返し圧力は構造的複雑さを確実に増加させ、しばしば元の制約への固執を減少させる。 オープンベンチマークとして、すべてのブリーフ、プロンプト、ルックス、書き起こし、スコアをリリースします。
  論文  参考訳（メタデータ） (2026-04-30T15:46:33Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• Latent Sculpting for Zero-Shot Generalization: A Manifold Learning Approach to Out-of-Distribution Anomaly Detection [2.8547732086436306]
  教師付きディープラーニングの基本的限界は「一般化崩壊」である 階層型2段階表現学習フレームワークであるLatent Sculptingを提案する。 我々は「浸潤」のシナリオについて88.89%の検知率を報告した。
  論文  参考訳（メタデータ） (2025-12-19T11:37:02Z)
• Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92% [4.693270291878929]
  大規模言語モデル(LLMs)は、流動的だがサポートされていない答え、幻覚を生み出す。 ECLIPSEは,モデルの意味エントロピーと利用可能な証拠の容量とのミスマッチとして幻覚を扱うフレームワークである。
  論文  参考訳（メタデータ） (2025-12-02T05:25:48Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• FDC: Fast KV Dimensionality Compression for Efficient LLM Inference [11.194752361478567]
  FDCは、既存のKV次元圧縮システムであるPaluで発生する減圧オーバーヘッドを排除し、注意時間を短縮する高速なKV次元圧縮システムである。 実験では、FDCはジョブ完了時間(JCT)を最大64%削減し、同じレイテンシで最大1.97倍のスループットを提供する。 最先端の消去法と量子化法がFDCと組み合わせられた場合、Paluと組み合わせた方法と同じような改善がなされる。
  論文  参考訳（メタデータ） (2024-08-07T22:10:26Z)
• Beyond Perplexity: Multi-dimensional Safety Evaluation of LLM Compression [33.45167213570976]
  モデル圧縮が4次元に与える影響について検討する:(1)退化障害、すなわち、世代におけるバイアスと毒性、(2)表現障害、すなわち、識別的タスクにおけるバイアス、(3)方言バイアス、(4)言語モデリングと下流タスクのパフォーマンス。 解析の結果,圧縮が予期せぬ結果をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-06T05:56:22Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。