論文の概要: ProARD: progressive adversarial robustness distillation: provide wide range of robust students

• arxiv url: http://arxiv.org/abs/2506.07666v1
• Date: Mon, 09 Jun 2025 11:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.933357
• Title: ProARD: progressive adversarial robustness distillation: provide wide range of robust students
• Title（参考訳）: ProARD:プログレッシブ・逆境ロバストネス蒸留 : 幅広い堅牢な学生に提供
• Authors: Seyedhamidreza Mousavi, Seyedali Mousavi, Masoud Daneshtalab,
• Abstract要約: 敵の攻撃に対する軽量深層ニューラルネットワークの堅牢性を高める効果的な方法として、Adrial Robustness Distillation (ARD)が登場した。 現在のアプローチでは、特定の制約を満たすために、スクラッチから新しい学生ネットワークをトレーニングする必要がある。 本稿では、動的ネットワークの効率的なワンタイムトレーニングを可能にするプロダード(Progressive Adrial Robustness Distillation)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial Robustness Distillation (ARD) has emerged as an effective method to enhance the robustness of lightweight deep neural networks against adversarial attacks. Current ARD approaches have leveraged a large robust teacher network to train one robust lightweight student. However, due to the diverse range of edge devices and resource constraints, current approaches require training a new student network from scratch to meet specific constraints, leading to substantial computational costs and increased CO2 emissions. This paper proposes Progressive Adversarial Robustness Distillation (ProARD), enabling the efficient one-time training of a dynamic network that supports a diverse range of accurate and robust student networks without requiring retraining. We first make a dynamic deep neural network based on dynamic layers by encompassing variations in width, depth, and expansion in each design stage to support a wide range of architectures. Then, we consider the student network with the largest size as the dynamic teacher network. ProARD trains this dynamic network using a weight-sharing mechanism to jointly optimize the dynamic teacher network and its internal student networks. However, due to the high computational cost of calculating exact gradients for all the students within the dynamic network, a sampling mechanism is required to select a subset of students. We show that random student sampling in each iteration fails to produce accurate and robust students.
• Abstract（参考訳）: 対人ロバストネス蒸留(ARD)は、対人攻撃に対する軽量ディープニューラルネットワークの堅牢性を高める効果的な方法として登場した。 現在のARDアプローチでは、大きなロバストな教師ネットワークを活用して、1人のロバストなライトウェイトな生徒を訓練している。 しかし、様々なエッジデバイスとリソース制約のため、現在のアプローチでは、特定の制約を満たすために、スクラッチから新しい学生ネットワークを訓練する必要がある。 本稿では,学生ネットワークの多種多様な正確かつ堅牢なネットワークを支援する動的ネットワークの効率的なワンタイムトレーニングを,再訓練を必要とせずに実現するプログレッシブ・バイバー・ロバストネス蒸留(ProARD)を提案する。 まず、様々なアーキテクチャをサポートするために、設計段階で幅、深さ、拡張のバリエーションを包含することで、動的層に基づく動的ディープニューラルネットワークを構築する。 そこで我々は,最大規模の学生ネットワークを動的教師ネットワークとみなす。 ProARDは、この動的ネットワークをウェイトシェアリング機構を使ってトレーニングし、動的教師ネットワークとその内部学生ネットワークを協調的に最適化する。 しかし、動的ネットワーク内の全ての学生に対して正確な勾配を計算するための計算コストが高いため、学生のサブセットを選択するにはサンプリング機構が必要である。 各イテレーションにおけるランダムな学生サンプリングは、正確でロバストな学生を生み出すのに失敗することを示す。

関連論文リスト

• A Graph Transformer-Driven Approach for Network Robustness Learning [27.837847091520842]
  本稿では, グラフ変換器(NRL-GT)を用いた多目的で統一的なロバストネス学習手法を提案する。 NRL-GTは、複数の側面から制御可能性堅牢性学習と接続性堅牢性学習のタスクを達成する。 また、学習エラーが低く、高い効率で、異なるサイズの複雑なネットワークを扱うこともできる。
  論文  参考訳（メタデータ） (2023-06-12T07:34:21Z)
• PAD-Net: An Efficient Framework for Dynamic Networks [72.85480289152719]
  動的ネットワークを実装する際の一般的な実践は、与えられた静的レイヤを完全な動的レイヤに変換することである。 我々は、冗長な動的パラメータを静的なパラメータに変換するために、部分的に動的ネットワーク、すなわちPAD-Netを提案する。 提案手法は,2つの典型的な動的アーキテクチャを用いた大規模実験によって包括的に支持されている。
  論文  参考訳（メタデータ） (2022-11-10T12:42:43Z)
• Improving Ensemble Distillation With Weight Averaging and Diversifying Perturbation [22.87106703794863]
  アンサンブル教師からの知識の蒸留を、より小さな学生ネットワークに動機付ける。 本研究では,複数作業を行う学生を対象に,アンサンブル教師の機能的多様性を吸収するウェイト平均化手法を提案する。 また,教師の多様性をよりよく生徒に伝達できるインプットを求める摂動戦略を提案する。
  論文  参考訳（メタデータ） (2022-06-30T06:23:03Z)
• Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
  教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。 学生ネットワークは、どの解法よりも確実に優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T02:51:36Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)
• Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
  Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。 予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
  論文  参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。