論文の概要: ACE-Compression: An Ability-Centric Evaluation of Compressed Large Language Models

• arxiv url: http://arxiv.org/abs/2610.27913v1
• Date: Tue, 20 Oct 2026 09:26:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.742244
• Title: ACE-Compression: An Ability-Centric Evaluation of Compressed Large Language Models
• Title（参考訳）: ACE圧縮:圧縮された大言語モデルの能力中心評価
• Abstract要約: 本稿では,能力中心評価フレームワークACE-Compressionを紹介する。 当社のフレームワークは,デプロイメント対応の4つの次元を探索する。 圧縮は機能プロファイルを再分割する。
• 参考スコア（独自算出の注目度）: 23.53293542325815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model compression makes large language models deployable, but today's evaluation tells an incomplete story. Standard practice measures retained task performance and stops there. This misses a critical fact: compression perturbs the distributed knowledge embedded across billions of weights, and task scores alone cannot reveal which underlying abilities survive and which quietly collapse. To solve this question, we introduce ACE-Compression, an ability-centric evaluation framework. Instead of asking only "does the compressed model still answer correctly?", we ask "which of its core abilities remain intact?" Our framework probes four deployment-facing dimensions: procedural reasoning and constraint execution, knowledge grounding and truthfulness, social cognition and affective understanding, and persona fidelity and stylistic consistency. Across more than 35 compressed checkpoints from six open-weight LLMs-covering quantization and pruning-we find that compression redistributes ability profiles. Coarse, local, and surface-level signals often persist, while fine-grained, long-tail, and context-dependent abilities become fragile. Quantization consistently outperforms pruning in retention, but the practical meaning of that gap depends entirely on which ability an application requires. Based on our findings, deployers can choose compression methods by the ability profile their application needs, not just by a leaderboard average. And algorithm designers gain diagnostic signals to build compression methods that preserve what matters. We believe that ACE-Compression turns compression from a black-box accuracy drop into an interpretable intervention-one we can measure, understand, and ultimately improve.
• Abstract（参考訳）: モデル圧縮は、大きな言語モデルをデプロイ可能にするが、今日の評価は不完全なストーリーを示している。 標準のプラクティスはタスクのパフォーマンスを維持し、そこで停止します。 圧縮は、数十億の重みに埋め込まれた分散知識を混乱させ、タスクスコアだけでは、根底にある能力が生き残るか、静かに崩壊するかを明らかにすることができない。 そこで本研究では,能力中心評価フレームワークであるACE-Compressionを紹介する。 圧縮されたモデルはまだ正しく答えているのか?」だけを尋ねる代わりに、我々は「そのコア能力のどれがそのままなのか?」と尋ねる。 本フレームワークでは, 手続き的推論と制約実行, 知識基盤と真理性, 社会的認知と情緒的理解, ペルソナの忠実さとスタイリスティックな一貫性の4つの側面を探索する。 オープンウェイトLLMの6つの量子化とプルーニングから35以上の圧縮チェックポイントが得られた。 粗い、局所的な、表面レベルの信号はしばしば持続するが、細粒度、長い尾、文脈に依存した能力は脆弱になる。 量子化は保持におけるプルーニングを一貫して上回るが、そのギャップの実践的な意味は、アプリケーションが必要とする能力に完全に依存する。 私たちの発見に基づいて、デプロイ者は、リーダーボード平均だけでなく、アプリケーションに必要な機能プロファイルによって圧縮方法を選択することができます。 そしてアルゴリズム設計者は、重要なものを保存する圧縮方法を構築するための診断信号を得る。 ACE圧縮は、圧縮をブラックボックスの精度から解釈可能な介入へと還元し、測定し、理解し、最終的に改善できると考えている。

関連論文リスト

• FOCUS: Training-Free Decision-Preserving Context Compression for LLM Agents [25.63193538183006]
  既存のコンテキスト圧縮メソッドはオフラインで何を破棄するかを学ぶ。 テスト時に完全に動作するトレーニングフリーのコンテキスト圧縮フレームワークであるFOCUSを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T13:45:34Z)
• Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors [13.49190771932777]
  我々は, 語彙, 構文, 意味, 言説の種を進化的に探索し, 競争ルールの組み合わせを見つける。 結果、言語圧縮機はデプロイメント時にLMフォワードパスを必要とせず、CPU側でのみ圧縮を行う。 圧縮品質と復元精度のバランスをとるために,デュアルパスプロトコルを用いて評価を行った。
  論文  参考訳（メタデータ） (2026-07-28T06:33:27Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models [69.84867664371826]
  視覚トークン圧縮はLVLM(Large Vision-Language Models)のロバスト性を大幅に低下させることを示す。 小さくて知覚不能な摂動はトークンの重要度を著しく変更し、圧縮機構が誤ってタスククリティカル情報を破棄する。 我々は,この脆弱性を体系的に研究し,活用するための圧縮認識攻撃を提案する。
  論文  参考訳（メタデータ） (2026-01-17T13:02:41Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• Understanding and Improving Information Preservation in Prompt Compression for LLMs [15.797246416590339]
  情報集約的なタスクでは、プロンプト長は急速に増加し、計算要求の増大、性能劣化、無関係または冗長な情報からのバイアスが引き起こされる。 本稿では,プロンプト圧縮手法の詳細な解析を可能にする総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T20:06:11Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Beyond Perplexity: Multi-dimensional Safety Evaluation of LLM Compression [33.45167213570976]
  モデル圧縮が4次元に与える影響について検討する:(1)退化障害、すなわち、世代におけるバイアスと毒性、(2)表現障害、すなわち、識別的タスクにおけるバイアス、(3)方言バイアス、(4)言語モデリングと下流タスクのパフォーマンス。 解析の結果,圧縮が予期せぬ結果をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-06T05:56:22Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。