論文の概要: AdaGAT: Adaptive Guidance Adversarial Training for the Robustness of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2508.17265v1
- Date: Sun, 24 Aug 2025 09:11:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.434394
- Title: AdaGAT: Adaptive Guidance Adversarial Training for the Robustness of Deep Neural Networks
- Title（参考訳）: AdaGAT:Deep Neural Networksのロバスト性に対する適応型ガイダンス・アドバイザリトレーニング
- Authors: Zhenyu Liu, Huizhi Liang, Xinrun Li, Vaclav Snasel, Varun Ojha,
- Abstract要約: 本稿では,AdaGAT(Adaptive Guidance Adversarial Training)法を提案する。
我々はAdaGAT法の一部として2つの個別損失関数を開発し、ガイドモデルがその最適状態を達成するためにバックプロパゲーションに積極的に参加できるようにする。
本研究は,特定の精度範囲内でガイドモデルを適切に調整することにより,種々の敵攻撃に対する目標モデルの堅牢性を高めることを明らかにする。
- 参考スコア（独自算出の注目度）: 5.446956311538973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial distillation (AD) is a knowledge distillation technique that facilitates the transfer of robustness from teacher deep neural network (DNN) models to lightweight target (student) DNN models, enabling the target models to perform better than only training the student model independently. Some previous works focus on using a small, learnable teacher (guide) model to improve the robustness of a student model. Since a learnable guide model starts learning from scratch, maintaining its optimal state for effective knowledge transfer during co-training is challenging. Therefore, we propose a novel Adaptive Guidance Adversarial Training (AdaGAT) method. Our method, AdaGAT, dynamically adjusts the training state of the guide model to install robustness to the target model. Specifically, we develop two separate loss functions as part of the AdaGAT method, allowing the guide model to participate more actively in backpropagation to achieve its optimal state. We evaluated our approach via extensive experiments on three datasets: CIFAR-10, CIFAR-100, and TinyImageNet, using the WideResNet-34-10 model as the target model. Our observations reveal that appropriately adjusting the guide model within a certain accuracy range enhances the target model's robustness across various adversarial attacks compared to a variety of baseline models.
- Abstract（参考訳）: Adversarial distillation (AD)は、教師のディープニューラルネットワーク(DNN)モデルから軽量なターゲット(学生)DNNモデルへの堅牢性の移行を容易にする知識蒸留技術である。
これまでのいくつかの研究は、学生モデルの堅牢性を改善するために、小さな学習可能な教師(ガイド)モデルを使うことに重点を置いていた。
学習可能なガイドモデルはスクラッチから学習を開始するため、協調学習中の効果的な知識伝達のための最適な状態を維持することは困難である。
そこで本研究では,AdaGAT(Adaptive Guidance Adversarial Training)法を提案する。
AdaGATはガイドモデルのトレーニング状態を動的に調整し、ターゲットモデルにロバスト性を持たせる。
具体的には、AdaGAT法の一部として2つの個別損失関数を開発し、ガイドモデルがその最適状態を達成するためにバックプロパゲーションに積極的に参加できるようにする。
対象モデルとしてWideResNet-34-10モデルを用いて,CIFAR-10,CIFAR-100,TinyImageNetの3つのデータセットに対する広範な実験を行った。
そこで本研究では,特定の精度範囲内でガイドモデルを適切に調整することにより,各種ベースラインモデルと比較して,標的モデルのロバスト性を高めることを明らかにする。
関連論文リスト
- Approach to Finding a Robust Deep Learning Model [0.28675177318965045]
機械学習(ML)と人工知能(AI)のアプリケーションの開発は、多数のモデルのトレーニングを必要とする。
本稿ではメタアルゴリズムとして設計したモデル選択アルゴリズムを用いてモデルロバスト性を決定する新しい手法を提案する。
本フレームワークでは,学習モデルの堅牢性に及ぼすトレーニングサンプルサイズ,モデル重み,帰納的バイアスの影響について検討する。
論文 参考訳（メタデータ） (2025-05-22T20:05:20Z) - Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。
本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。
OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文 参考訳（メタデータ） (2024-09-19T07:05:26Z) - Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks [11.389689242531327]
対人訓練は、モデルの堅牢性を高める最も効果的な方法の1つである。
従来のアプローチでは、主に敵の訓練に静的接地真理を用いるが、しばしば強固なオーバーフィッティングを引き起こす。
本稿では,動的ラベル対逆トレーニング(DYNAT)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-23T14:25:12Z) - Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文 参考訳（メタデータ） (2023-10-19T13:13:41Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - Controlled Sparsity via Constrained Optimization or: How I Learned to
Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。
スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。
本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文 参考訳（メタデータ） (2022-08-08T21:24:20Z) - Online Dynamics Learning for Predictive Control with an Application to
Aerial Robots [3.673994921516517]
予測モデルは学習し、モデルベースのコントローラに適用することができるが、これらのモデルはしばしばオフラインで学習される。
このオフライン設定では、トレーニングデータをまず収集し、精巧なトレーニング手順により予測モデルを学ぶ。
本稿では,デプロイ中の動的モデルの精度を継続的に向上するオンライン動的学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-19T15:51:25Z) - DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。
タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
論文 参考訳（メタデータ） (2022-04-03T02:29:11Z) - Ensemble Knowledge Distillation for CTR Prediction [46.92149090885551]
我々は知識蒸留(KD)に基づく新しいモデルトレーニング戦略を提案する。
KDは、教師モデルから学んだ知識を学生モデルに移すための教師学生学習フレームワークである。
本稿では,教師のゲーティングや蒸留損失による早期停止など,CTR予測のアンサンブル化を促進する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-11-08T23:37:58Z) - Adversarial Concurrent Training: Optimizing Robustness and Accuracy
Trade-off of Deep Neural Networks [13.041607703862724]
ミニマックスゲームにおいて,自然モデルと連動して頑健なモデルを訓練するための適応的並行訓練(ACT)を提案する。
ACTは標準精度68.20%、目標外攻撃で44.29%のロバスト性を達成している。
論文 参考訳（メタデータ） (2020-08-16T22:14:48Z) - Improved Adversarial Training via Learned Optimizer [101.38877975769198]
対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。
共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
論文 参考訳（メタデータ） (2020-04-25T20:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。