論文の概要: Downsized and Compromised?: Assessing the Faithfulness of Model Compression
- arxiv url: http://arxiv.org/abs/2510.06125v1
- Date: Tue, 07 Oct 2025 17:05:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.368656
- Title: Downsized and Compromised?: Assessing the Faithfulness of Model Compression
- Title（参考訳）: 小型・コンパクト化 : モデル圧縮の忠実さを評価する
- Authors: Moumita Kamal, Douglas A. Talbert,
- Abstract要約: 本稿では,圧縮モデルにおける忠実度を評価するための新しい手法を提案する。
モデル行動の圧縮後の変化をキャプチャする,忠実度指標のセットを紹介し,実証する。
我々の貢献には、モデルアライアンスを用いたモデルと圧縮モデル間の予測整合性の評価手法の導入、および全体データセットと人口統計サブグループの両方にわたる予測パターンの統計的に有意な変化を検出するためのカイ二乗検定の適用が含まれる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In real-world applications, computational constraints often require transforming large models into smaller, more efficient versions through model compression. While these techniques aim to reduce size and computational cost without sacrificing performance, their evaluations have traditionally focused on the trade-off between size and accuracy, overlooking the aspect of model faithfulness. This limited view is insufficient for high-stakes domains like healthcare, finance, and criminal justice, where compressed models must remain faithful to the behavior of their original counterparts. This paper presents a novel approach to evaluating faithfulness in compressed models, moving beyond standard metrics. We introduce and demonstrate a set of faithfulness metrics that capture how model behavior changes post-compression. Our contributions include introducing techniques to assess predictive consistency between the original and compressed models using model agreement, and applying chi-squared tests to detect statistically significant changes in predictive patterns across both the overall dataset and demographic subgroups, thereby exposing shifts that aggregate fairness metrics may obscure. We demonstrate our approaches by applying quantization and pruning to artificial neural networks (ANNs) trained on three diverse and socially meaningful datasets. Our findings show that high accuracy does not guarantee faithfulness, and our statistical tests detect subtle yet significant shifts that are missed by standard metrics, such as Accuracy and Equalized Odds. The proposed metrics provide a practical and more direct method for ensuring that efficiency gains through compression do not compromise the fairness or faithfulness essential for trustworthy AI.
- Abstract（参考訳）: 実世界のアプリケーションでは、計算の制約は、しばしばモデル圧縮を通じて大きなモデルをより小さく、より効率的なバージョンに変換する必要がある。
これらの技術は、性能を犠牲にすることなく、サイズと計算コストを削減することを目的としているが、それらの評価は伝統的に、モデル忠実性の側面を見越して、サイズと精度の間のトレードオフに焦点を当ててきた。
この限定的な見解は、医療、金融、刑事司法のような高額な領域では不十分であり、圧縮されたモデルは元のモデルの行動に忠実でなければならない。
本稿では,圧縮モデルにおける忠実度を評価するための新しい手法を提案する。
モデル行動の圧縮後の変化をキャプチャする,忠実度指標のセットを紹介し,実証する。
本研究の貢献は,モデル合意を用いたモデルと圧縮モデル間の予測整合性の評価手法の導入,および全体データセットと人口統計群の両方にわたる予測パターンの統計的に有意な変化を検出するためのカイ2乗検定の適用などである。
我々は3つの多様な社会的意味のあるデータセットに基づいてトレーニングされた人工知能ニューラルネットワーク(ANN)に量子化とプルーニングを適用することで、我々のアプローチを実証する。
以上の結果から,精度は忠実さを保証せず,精度や等化オッドなどの標準指標が欠落している微妙に重要な変化を統計的に検出できた。
提案したメトリクスは、圧縮による効率向上が、信頼できるAIに不可欠な公平さや忠実さを損なわないよう、実用的で直接的な方法を提供する。
関連論文リスト
- Compressed Models are NOT Trust-equivalent to Their Large Counterparts [0.8124699127636158]
大規模なディープラーニングモデルは、リソース制約のある環境にデプロイする前に圧縮されることが多い。
圧縮モデルの予測は、オリジナルの大モデルの予測を信頼するのと同じように信頼できますか?
本稿では,信頼等価性評価のための2次元フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-19T05:49:39Z) - Unified Scaling Laws for Compressed Representations [69.72517034565467]
各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。
我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。
我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
論文 参考訳（メタデータ） (2025-06-02T16:52:51Z) - On Large-scale Evaluation of Embedding Models for Knowledge Graph Completion [1.2703808802607108]
知識グラフ埋め込み(KGE)モデルは知識グラフ補完のために広く研究されている。
標準的な評価基準は、欠落した三重項を正確に予測するためのモデルを罰するクローズドワールドの仮定に依存している。
本稿では,大規模データセットFB-CVT-REVとFB+CVT-REVの4つの代表的なKGEモデルを包括的に評価する。
論文 参考訳（メタデータ） (2025-04-11T20:49:02Z) - A Conformal Approach to Feature-based Newsvendor under Model Misspecification [2.801095519296785]
共形予測にインスパイアされたモデルフリーで分散フリーなフレームワークを提案する。
ワシントンD.C.のCapital Bikeshareプログラムのシミュレーションデータと実世界のデータセットを用いて,我々のフレームワークを検証する。
論文 参考訳（メタデータ） (2024-12-17T18:34:43Z) - Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
論文 参考訳（メタデータ） (2023-09-06T00:56:24Z) - Weak Proxies are Sufficient and Preferable for Fairness with Missing
Sensitive Attributes [25.730297492625507]
適切な3つのプロキシのみを用いて,正当性(確実に)を正確に測定できるアルゴリズムを開発した。
本結果は,プロキシの適切な使用方法に関する実践者のための実践的ガイドラインのセットであることを示唆している。
論文 参考訳（メタデータ） (2022-10-06T19:25:29Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。