論文の概要: Assessing the Potential for Catastrophic Failure in Dynamic Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2510.02457v1
• Date: Thu, 02 Oct 2025 18:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.119168
• Title: Assessing the Potential for Catastrophic Failure in Dynamic Post-Training Quantization
• Title（参考訳）: 動的後量子化における破滅的破壊の可能性の評価
• Authors: Logan Frank, Paul Ardis,
• Abstract要約: 後トレーニング量子化(PTQ)は、ニューラルネットワークの計算複雑性とメモリ使用量の削減に有効なツールとして登場した。 推論で経験した入力の分布に応じて劇的な性能低下が起こる可能性がある。
• 参考スコア（独自算出の注目度）: 3.437656066916039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization (PTQ) has recently emerged as an effective tool for reducing the computational complexity and memory usage of a neural network by representing its weights and activations with lower precision. While this paradigm has shown great success in lowering compute and storage costs, there is the potential for drastic performance reduction depending upon the distribution of inputs experienced in inference. When considering possible deployment in safety-critical environments, it is important to investigate the extent of potential performance reduction, and what characteristics of input distributions may give rise to this reduction. In this work, we explore the idea of extreme failure stemming from dynamic PTQ and formulate a knowledge distillation and reinforcement learning task to learn a network and bit-width policy pair such that catastrophic failure under quantization is analyzed in terms of worst case potential. Our results confirm the existence of this "detrimental" network-policy pair, with several instances demonstrating performance reductions in the range of 10-65% in accuracy, compared to their "robust" counterparts encountering a <2% decrease. From systematic experimentation and analyses, we also provide an initial exploration into points at highest vulnerability. While our results represent an initial step toward understanding failure cases introduced by PTQ, our findings ultimately emphasize the need for caution in real-world deployment scenarios. We hope this work encourages more rigorous examinations of robustness and a greater emphasis on safety considerations for future works within the broader field of deep learning.
• Abstract（参考訳）: ポストトレーニング量子化(PTQ)は、ニューラルネットワークの計算複雑性とメモリ使用量の削減に有効なツールとして最近登場し、その重みとアクティベーションを低い精度で表現している。 このパラダイムは計算コストとストレージコストを下げる上で大きな成功を収めてきたが、推論で経験した入力の分布に応じて劇的な性能低下の可能性を秘めている。 安全クリティカルな環境への展開の可能性を考える際には, 潜在的な性能低下の程度と, 入力分布の特性について検討することが重要である。 本研究では,動的PTQから生じる極端な故障の考え方を探求し,ネットワークとビット幅のポリシーペアを学習するための知識蒸留・強化学習タスクを定式化し,量子化による破滅的故障を最悪のケースポテンシャルの観点から解析する。 その結果,この「有害な」ネットワーク政治ペアの存在が確認され,いくつかの事例では精度が10～65%まで低下した。 系統的な実験と分析から、最も脆弱な点の探索も行う。 私たちの結果はPTQが導入した障害ケースを理解するための最初のステップを示すものですが、私たちの調査結果は最終的に、実際のデプロイメントシナリオにおける注意の必要性を強調しています。 この研究によって、より厳密な堅牢性検査が促進され、より広範なディープラーニング分野における将来の研究の安全性への配慮がより強調されることを願っています。

関連論文リスト

• Explaining How Quantization Disparately Skews a Model [8.210473195536077]
  ポストトレーニング量子化(PTQ)は、圧縮容量と速度が正確性に最小限の影響を受け、広く採用されている。 特にマイノリティグループでは, 量子化によって異なる影響が増すことが観察された。 量子化によって引き起こされる重みや活性化の変化がネットワークのカスケード的な影響をいかに引き起こし、より分散度が低く、損失が増大し、グループ精度が損なわれるかを検討する。
  論文  参考訳（メタデータ） (2025-09-08T21:04:16Z)
• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• Investigating the Impact of Quantization on Adversarial Robustness [22.637585106574722]
  量子化は、ディープモデルのビット幅を減らし、実行時のパフォーマンスとストレージ効率を改善する技術である。 現実のシナリオでは、量子化されたモデルは、しばしば逆攻撃に直面する。 我々は、ロバストな最適化を組み込むことのできる量子化パイプラインコンポーネントの影響を、初めて分析する。
  論文  参考訳（メタデータ） (2024-04-08T16:20:15Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Understanding and Preventing Capacity Loss in Reinforcement Learning [28.52122927103544]
  我々は、非定常予測対象が深層RLエージェントの学習進行を阻止できるメカニズムを同定する。 キャパシティ損失は様々なRLエージェントや環境で発生し、特にスパース・リワードタスクのパフォーマンスにダメージを与えている。
  論文  参考訳（メタデータ） (2022-04-20T15:55:15Z)
• Towards Balanced Learning for Instance Recognition [149.76724446376977]
  本稿では,インスタンス認識のためのバランス学習のためのフレームワークであるLibra R-CNNを提案する。 IoUバランスのサンプリング、バランスの取れた特徴ピラミッド、客観的再重み付けをそれぞれ統合し、サンプル、特徴、客観的レベルの不均衡を低減します。
  論文  参考訳（メタデータ） (2021-08-23T13:40:45Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• Performance Analysis of Out-of-Distribution Detection on Various Trained Neural Networks [12.22753756637137]
  ディープニューラルネットワーク(DNN)の一般的な課題は、これまで見つからなかった配布外サンプルに晒されたときに発生する。 本稿では,2つの著名なDNNについて,2つのスーパーバイザをさまざまなトレーニング設定で分析する。 私達は訓練のプロシージャの質とoutlierの検出の性能が改善することを見つけます。
  論文  参考訳（メタデータ） (2021-03-29T12:52:02Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。