論文の概要: Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment

• arxiv url: http://arxiv.org/abs/2204.04220v1
• Date: Fri, 8 Apr 2022 11:19:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 14:58:43.345910
• Title: Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment
• Title（参考訳）: 信頼性デプロイメントのための量子化モデルの振る舞いの特徴と理解
• Authors: Qiang Hu, Yuejun Guo, Maxime Cordy, Xiaofei Xie, Wei Ma, Mike Papadakis, Yves Le Traon
• Abstract要約: 量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
• 参考スコア（独自算出の注目度）: 32.01355605506855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) have gained considerable attention in the past decades due to their astounding performance in different applications, such as natural language modeling, self-driving assistance, and source code understanding. With rapid exploration, more and more complex DNN architectures have been proposed along with huge pre-trained model parameters. The common way to use such DNN models in user-friendly devices (e.g., mobile phones) is to perform model compression before deployment. However, recent research has demonstrated that model compression, e.g., model quantization, yields accuracy degradation as well as outputs disagreements when tested on unseen data. Since the unseen data always include distribution shifts and often appear in the wild, the quality and reliability of quantized models are not ensured. In this paper, we conduct a comprehensive study to characterize and help users understand the behaviors of quantized models. Our study considers 4 datasets spanning from image to text, 8 DNN architectures including feed-forward neural networks and recurrent neural networks, and 42 shifted sets with both synthetic and natural distribution shifts. The results reveal that 1) data with distribution shifts happen more disagreements than without. 2) Quantization-aware training can produce more stable models than standard, adversarial, and Mixup training. 3) Disagreements often have closer top-1 and top-2 output probabilities, and $Margin$ is a better indicator than the other uncertainty metrics to distinguish disagreements. 4) Retraining with disagreements has limited efficiency in removing disagreements. We opensource our code and models as a new benchmark for further studying the quantized models.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)は、自然言語モデリング、自動運転支援、ソースコード理解など、さまざまなアプリケーションで驚くほどのパフォーマンスのおかげで、過去数十年でかなりの注目を集めています。 迅速な探索により、より複雑なDNNアーキテクチャと巨大な事前学習モデルパラメータが提案されている。 このようなDNNモデルをユーザフレンドリーなデバイス(携帯電話など)で使用する一般的な方法は、デプロイ前にモデル圧縮を実行することである。 しかし、近年の研究では、モデル圧縮(例えばモデル量子化)が精度の低下をもたらすだけでなく、見当たらないデータでテストすると不一致が生じることが示されている。 未知のデータは常に分布シフトを含み、しばしば野生に現れるため、量子化されたモデルの品質と信頼性は保証されない。 本稿では,ユーザが量子化モデルの振る舞いを特徴付け,理解するための総合的な研究を行う。 本研究では,画像からテキストまでの4つのデータセット,フィードフォワードニューラルネットワークとリカレントニューラルネットワークを含む8つのdnnアーキテクチャ,合成および自然分布シフトの42のシフトセットについて検討した。 その結果は 1) 分散シフトを伴うデータは、無関係よりも相反する。 2)量子化アウェアトレーニングは,標準,敵意,ミックスアップトレーニングよりも安定なモデルを生成することができる。 3) 診断は、しばしばトップ1とトップ2の出力確率が近く、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 4)不一致の緩和は、不一致の除去の効率に限界がある。 量子化モデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソースとして公開しています。

関連論文リスト

• ScatterUQ: Interactive Uncertainty Visualizations for Multiclass Deep Learning Problems [0.0]
  ScatterUQは、ユーザがコンテキスト駆動の不確実性設定におけるモデルパフォーマンスをよりよく理解できるように、ターゲットの可視化を提供するインタラクティブシステムである。 本稿では,Fashion-MNISTを訓練した距離認識ニューラルネットワーク上でのマルチクラス画像分類におけるモデル不確実性を説明するために,ScatterUQの有効性を示す。 以上の結果から,ScatterUQシステムは任意のマルチクラスデータセットにスケールすべきであることが示唆された。
  論文  参考訳（メタデータ） (2023-08-08T21:17:03Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• A Tale of Two Cities: Data and Configuration Variances in Robust Deep Learning [27.498927971861068]
  ディープニューラルネットワーク(DNN)は、画像認識、サプライチェーン、診断、自律運転など、多くの産業で広く利用されている。 これまでの研究では、入力データと外部環境が常に変化しているため、DNNモデルの高精度さは、高いロバスト性を示すものではなかった。
  論文  参考訳（メタデータ） (2022-11-18T03:32:53Z)
• Two-stage Modeling for Prediction with Confidence [0.0]
  分布シフト条件下でニューラルネットワークの性能を一般化することは困難である。 本稿では,分散シフト問題に対する新しい2段階モデルを提案する。 我々のモデルは、ほとんどのデータセットに対して信頼性の高い予測を提供することを示す。
  論文  参考訳（メタデータ） (2022-09-19T08:48:07Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Investigating the Relationship Between Dropout Regularization and Model Complexity in Neural Networks [0.0]
  ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。 2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。 各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
  論文  参考訳（メタデータ） (2021-08-14T23:49:33Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。