Fugu-MT 論文翻訳(概要): Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression

論文の概要: Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression

arxiv url: http://arxiv.org/abs/2109.03228v1
Date: Tue, 7 Sep 2021 17:55:47 GMT
ステータス: 処理完了
システム内更新日: 2021-09-08 14:53:47.680219
Title: Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression
Title（参考訳）: 保存精度を超えたBERT圧縮のロイヤリティとロバスト性の評価
Authors: Canwen Xu and Wangchunshu Zhou and Tao Ge and Ke Xu and Julian McAuley and Furu Wei
Abstract要約: 本稿では,圧縮モデルがオリジナルのモデルにどの程度近いかを測定するため,ラベル忠実度と確率忠誠度という2つの新しい指標を提案する。また,敵攻撃時の強靭性に対する圧縮の効果についても検討した。
参考スコア（独自算出の注目度）: 49.288196234823005
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent studies on compression of pretrained language models (e.g., BERT) usually use preserved accuracy as the metric for evaluation. In this paper, we propose two new metrics, label loyalty and probability loyalty that measure how closely a compressed model (i.e., student) mimics the original model (i.e., teacher). We also explore the effect of compression with regard to robustness under adversarial attacks. We benchmark quantization, pruning, knowledge distillation and progressive module replacing with loyalty and robustness. By combining multiple compression techniques, we provide a practical strategy to achieve better accuracy, loyalty and robustness.
Abstract（参考訳）: 事前訓練された言語モデルの圧縮に関する最近の研究(例えばBERT)は、通常、評価のためのメートル法として保存された精度を使用する。本稿では,圧縮モデル(すなわち学生)が原型モデル(すなわち教師)をいかに密接に模倣しているかを測定する,ラベルロイヤリティと確率ロイヤリティという2つの新しい指標を提案する。また,攻撃時のロバスト性に対する圧縮の影響についても検討する。我々は, 量子化, プルーニング, 知識蒸留, プログレッシブモジュールを忠実性と堅牢性に置き換えた。複数の圧縮技術を組み合わせることで、精度、忠誠心、堅牢性を向上する実用的な戦略を提供する。

関連論文リスト

The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
論文参考訳（メタデータ） (2023-12-01T22:27:12Z)
Approximating Human-Like Few-shot Learning with GPT-based Compression [55.699707962017975]
我々は、推論中にデータ圧縮を可能にする、人間のような学習能力を備えた生成事前学習モデルを提案する。本稿では,GPT(Generative Pre-trained Transformer)を用いてコルモゴロフ複雑性を近似する手法を提案する。
論文参考訳（メタデータ） (2023-08-14T05:22:33Z)
Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
論文参考訳（メタデータ） (2023-06-20T18:00:31Z)
Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
論文参考訳（メタデータ） (2023-03-31T15:44:13Z)
On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文参考訳（メタデータ） (2022-03-14T15:02:13Z)
Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。ネットワーク環境における圧縮とモデルの精度のトレードオフは未だ不明です各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
論文参考訳（メタデータ） (2021-12-13T14:26:15Z)
What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文参考訳（メタデータ） (2021-10-16T00:20:04Z)
Reliable Model Compression via Label-Preservation-Aware Loss Functions [14.368823297066276]
本稿では,教師の学習パラダイムを用いてラベルの保存を改善するフレームワークを提案する。圧縮モデルと参照モデルとのミスマッチ数を最大4.1倍に削減する。
論文参考訳（メタデータ） (2020-12-03T00:00:41Z)
Geometry-aware Instance-reweighted Adversarial Training [78.70024866515756]
敵対的機械学習では、堅牢性と正確性がお互いを傷つけるという共通の信念があった。本稿では,自然データ点の攻撃がいかに難しいかに基づいて,幾何対応のインスタンス再重み付き対向訓練を提案する。実験の結果,本提案は標準的な対人訓練の堅牢性を高めることが示唆された。
論文参考訳（メタデータ） (2020-10-05T01:33:11Z)
Guess First to Enable Better Compression and Adversarial Robustness [5.579029325265822]
本稿では,モデル推論をラベル仮説で条件付けしたバイオインスパイアされた分類フレームワークを提案する。このフレームワークのためのトレーニング目標のクラスと、情報ボトルネックレギュレータを提供する。ラベル情報の圧縮と除去により、自然な精度を損なうことなく、敵の堅牢性がさらに向上する。
論文参考訳（メタデータ） (2020-01-10T05:12:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。