論文の概要: The Asymmetric Harms of LLM Compression

• arxiv url: http://arxiv.org/abs/2608.19670v1
• Date: Thu, 20 Aug 2026 06:06:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.45971
• Title: The Asymmetric Harms of LLM Compression
• Title（参考訳）: LLM圧縮の不斉ハーム
• Abstract要約: 大規模言語モデル(LLM)圧縮は、デプロイメントコストを削減しますが、パープレキシティや精度といった標準的な集約メトリクスは、基礎となる振る舞いシフトを隠蔽します。 本研究では,11個の圧縮法にまたがる3つのLLMを体系的に評価し,圧縮が知識保持,モデル信頼,社会的偏見に及ぼす影響について検討した。
• 参考スコア（独自算出の注目度）: 9.45803162325743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) compression reduces deployment costs, but standard aggregate metrics like perplexity and accuracy often mask underlying behavioral shifts. In this work, we systematically evaluate 3 LLMs across 11 compression methods to investigate the effects of compression on knowledge retention, model confidence, and social bias. We find that compression disproportionately reduces the relative retention of head knowledge compared to tail knowledge. Furthermore, compressed models often remain substantially confident in their incorrect answers on newly lost knowledge. Finally, we demonstrate that stable aggregate bias scores can conceal substantial, opposing shifts in stereotypical preferences across demographic subgroups. Together, these findings reveal asymmetric behavioral changes that aggregate performance measures fail to capture, highlighting the need for granular evaluation of compressed models before deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)圧縮は、デプロイメントコストを削減しますが、パープレキシティや精度といった標準的な集約メトリクスは、基礎となる振る舞いシフトを隠蔽します。 本研究では,11個の圧縮法にまたがる3つのLLMを体系的に評価し,圧縮が知識保持,モデル信頼性,社会的バイアスに与える影響について検討する。 圧縮は、尾の知識と比較して、頭部の知識の相対的保持を不均等に減少させる。 さらに、圧縮されたモデルは、しばしば、新しく失われた知識に対する誤った答えにかなり自信を保っている。 最後に、安定な集合バイアススコアは、階層的なサブグループ間でのステレオタイプ的嗜好の相反する変化を隠蔽できることを示した。 これらの結果から, 集約性能指標が捕捉できない非対称な挙動変化が明らかとなり, 展開前の圧縮モデルの粒度評価の必要性が浮き彫りになった。

関連論文リスト

• Just Noticeable Difference Modeling for Token Compression in Vision-Language-Action Models [62.522141464687195]
  本稿では,単に目立った差分(JND)の原理を具体化するためのアクションJNDを紹介する。 トークンの変化は、誘導された行動偏差が許容範囲内に留まっている場合にのみ許容できると考えられる。 結果として生じるアクション耐性スコアは、VLA圧縮パラダイムのプラグアンドプレイ基準として機能する。
  論文  参考訳（メタデータ） (2026-08-21T15:59:37Z)
• Does Compression Preserve Uncertainty? A Unified Benchmark for Quantized and Sparse LLMs via Conformal Prediction [21.411353047208777]
  5つのNLPタスクにまたがる様々な圧縮構成の下で、12の大規模言語モデル(LLM)をベンチマークする。 実験の結果, (I) 圧縮は精度を不確実性から分離することが多く, (II) より大きなモデルでは圧縮誘起不確実性をより効果的に吸収し, (III) 不確実性インフレーションは段階的にではなくしきい値に近いことが多いことがわかった。
  論文  参考訳（メタデータ） (2026-06-01T08:00:17Z)
• Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models [69.84867664371826]
  視覚トークン圧縮はLVLM(Large Vision-Language Models)のロバスト性を大幅に低下させることを示す。 小さくて知覚不能な摂動はトークンの重要度を著しく変更し、圧縮機構が誤ってタスククリティカル情報を破棄する。 我々は,この脆弱性を体系的に研究し,活用するための圧縮認識攻撃を提案する。
  論文  参考訳（メタデータ） (2026-01-17T13:02:41Z)
• Decomposed Trust: Exploring Privacy, Adversarial Robustness, Fairness, and Ethics of Low-Rank LLMs [2.1311014724439845]
  低ランクの要因化が、プライバシー、敵の堅牢性、公正性、倫理的整合性にどのように影響するかを研究する。 低ランク圧縮は、トレーニングデータのプライバシを保護または改善するが、会話中のPII保護を弱める。 敵の強靭性は一般に保存され、しばしば強化される。 倫理的推論はゼロショット設定では劣化するが、ほとんどショットのプロンプトで部分的に回復する。
  論文  参考訳（メタデータ） (2025-11-27T04:40:56Z)
• Compression Hacking: A Supplementary Perspective on Informatics Properties of Language Models from Geometric Distortion [56.12939353271623]
  幾何学的観点から、高度に圧縮されたLMのワード表現空間は、非常に異方性のある状態に縮退する傾向がある。 この同期性は基本的にLM表現におけるCompression Hacking''である。 幾何学的歪み解析を取り入れ, 自己評価パイプラインに統合することにより, 高精度な3つの圧縮指標を提案する。
  論文  参考訳（メタデータ） (2025-05-23T12:11:03Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Evaluating the Impact of Compression Techniques on Task-Specific Performance of Large Language Models [0.0]
  大規模言語モデル(LLM)は強力な能力を提供するが、かなりの計算コストがかかる。 本研究では,LLaMA-2-7Bモデルに対する圧縮法の影響について検討した。 SparseGPTとWandaは50%の間隔でも難易度を保っているが,下流タスクでは著しく低下している。
  論文  参考訳（メタデータ） (2024-09-17T14:34:11Z)
• Beyond Perplexity: Multi-dimensional Safety Evaluation of LLM Compression [33.45167213570976]
  モデル圧縮が4次元に与える影響について検討する:(1)退化障害、すなわち、世代におけるバイアスと毒性、(2)表現障害、すなわち、識別的タスクにおけるバイアス、(3)方言バイアス、(4)言語モデリングと下流タスクのパフォーマンス。 解析の結果,圧縮が予期せぬ結果をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-06T05:56:22Z)
• The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
  大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。 パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
  論文  参考訳（メタデータ） (2023-12-01T22:27:12Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Learning, compression, and leakage: Minimising classification error via meta-universal compression principles [87.054014983402]
  学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。 ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。 本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
  論文  参考訳（メタデータ） (2020-10-14T20:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。