論文の概要: ODG-Q: Robust Quantization via Online Domain Generalization

• arxiv url: http://arxiv.org/abs/2210.08701v1
• Date: Mon, 17 Oct 2022 02:25:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 17:23:27.879760
• Title: ODG-Q: Robust Quantization via Online Domain Generalization
• Title（参考訳）: ODG-Q:オンラインドメイン一般化によるロバスト量子化
• Authors: Chaofan Tao, Ngai Wong
• Abstract要約: 低ビット幅へのニューラルネットワークの量子化は、リソース制限エッジハードウェア上のモデル展開において重要である。 本稿では,ロバスト量子化をオンライン領域一般化問題(ODG-Q)として再キャストする手法を提案する。 ODG-Qは、様々な敵の攻撃に対して、既存の作業よりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 9.25177374431812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantizing neural networks to low-bitwidth is important for model deployment on resource-limited edge hardware. Although a quantized network has a smaller model size and memory footprint, it is fragile to adversarial attacks. However, few methods study the robustness and training efficiency of quantized networks. To this end, we propose a new method by recasting robust quantization as an online domain generalization problem, termed ODG-Q, which generates diverse adversarial data at a low cost during training. ODG-Q consistently outperforms existing works against various adversarial attacks. For example, on CIFAR-10 dataset, ODG-Q achieves 49.2% average improvements under five common white-box attacks and 21.7% average improvements under five common black-box attacks, with a training cost similar to that of natural training (viz. without adversaries). To our best knowledge, this work is the first work that trains both quantized and binary neural networks on ImageNet that consistently improve robustness under different attacks. We also provide a theoretical insight of ODG-Q that accounts for the bound of model risk on attacked data.
• Abstract（参考訳）: 低ビット幅へのニューラルネットワークの量子化は、リソース制限エッジハードウェア上のモデル展開において重要である。 量子化ネットワークはモデルサイズとメモリフットプリントが小さいが、敵の攻撃に対して脆弱である。 しかし,量子化ネットワークのロバスト性やトレーニング効率に関する研究は少ない。 そこで本研究では,オンラインドメイン一般化問題であるODG-Qを,トレーニング中に低コストで多様な逆データを生成する手法を提案する。 ODG-Qは、様々な敵の攻撃に対して、既存の作業よりも一貫して優れています。 例えば、cifar-10データセットでは、odg-qは5つの一般的なホワイトボックス攻撃で平均49.2%改善され、5つの一般的なブラックボックス攻撃で平均21.7%改善されている。 私たちの知る限りでは、この研究はimagenet上で量子化ニューラルネットワークとバイナリニューラルネットワークの両方をトレーニングし、異なる攻撃下で一貫して堅牢性を向上させる最初の作業です。 また,攻撃データに対するモデルリスクの限界を考慮した odg-q の理論的知見を提供する。

関連論文リスト

• Improving the Robustness of Quantized Deep Neural Networks to White-Box Attacks using Stochastic Quantization and Information-Theoretic Ensemble Training [1.6098666134798774]
  ディープニューラルネットワーク(DNN)を使用する現実世界のほとんどのアプリケーションは、計算ニーズを減らすためにそれらを低精度で量子化する。 ホワイトボックス攻撃に対する量子化DNNのロバスト性を改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T17:15:58Z)
• Everything Perturbed All at Once: Enabling Differentiable Graph Attacks [61.61327182050706]
  グラフニューラルネットワーク(GNN)は敵の攻撃に弱いことが示されている。 本稿では,DGA(Dariable Graph Attack)と呼ばれる新しい攻撃手法を提案し,効果的な攻撃を効率的に生成する。 最先端と比較して、DGAは6倍のトレーニング時間と11倍のGPUメモリフットプリントでほぼ同等の攻撃性能を達成する。
  論文  参考訳（メタデータ） (2023-08-29T20:14:42Z)
• Quantization Aware Attack: Enhancing Transferable Adversarial Attacks by Model Quantization [57.87950229651958]
  量子ニューラルネットワーク(QNN)は、異常な一般化性のため、リソース制約のあるシナリオに注目が集まっている。 従来の研究では、ビット幅の異なるQNN間で転送性を実現することは困難であった。 マルチビット学習目的のQNN代替モデルを微調整するテキスト品質認識攻撃(QAA)を提案する。
  論文  参考訳（メタデータ） (2023-05-10T03:46:53Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Practical No-box Adversarial Attacks with Training-free Hybrid Image Transformation [123.33816363589506]
  ノンボックス脅威モデルの下では, テキストbftraining-free adversarial perturbationの存在を示す。 低レベルの特徴を持つ高周波成分 (HFC) ドメインは, 主に周波数成分の操作によって画像を攻撃する。 我々の手法は、主流の転送ベースのブラックボックス攻撃と競合する。
  論文  参考訳（メタデータ） (2022-03-09T09:51:00Z)
• Robustness of Graph Neural Networks at Scale [63.45769413975601]
  我々は,グラフニューラルネットワーク(GNN)を大規模に攻撃し,防御する方法を研究する。 効率のよい表現を維持するために,2つのスパシティ対応一階最適化攻撃を提案する。 GNNに対する世界的な攻撃には、一般的なサロゲート損失が適していないことを示す。
  論文  参考訳（メタデータ） (2021-10-26T21:31:17Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Towards More Practical Adversarial Attacks on Graph Neural Networks [14.78539966828287]
  グラフニューラルネットワーク(GNN)に対するブラックボックス攻撃を,新規で現実的な制約の下で検討する。 我々は,GNNモデルの構造的帰納バイアスが,この種の攻撃に有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-09T05:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。