論文の概要: RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2301.08092v1
• Date: Thu, 19 Jan 2023 14:22:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 14:58:23.849855
• Title: RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation
• Title（参考訳）: RNAS-CL:クロス層知識蒸留によるロバストニューラルネットワーク探索
• Authors: Utkarsh Nath, Yancheng Wang and Yingzhen Yang
• Abstract要約: 本研究では,NASの頑健さを教師から学習することで,NASの堅牢性を向上させる新しいNASアルゴリズムを提案する。 実験の結果、RNAS-CLの有効性が証明され、RNAS-CLが小さく堅牢なニューラルアーキテクチャを生み出すことが示されている。
• 参考スコア（独自算出の注目度）: 3.958215414191896
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Deep Neural Networks are vulnerable to adversarial attacks. Neural Architecture Search (NAS), one of the driving tools of deep neural networks, demonstrates superior performance in prediction accuracy in various machine learning applications. However, it is unclear how it performs against adversarial attacks. Given the presence of a robust teacher, it would be interesting to investigate if NAS would produce robust neural architecture by inheriting robustness from the teacher. In this paper, we propose Robust Neural Architecture Search by Cross-Layer Knowledge Distillation (RNAS-CL), a novel NAS algorithm that improves the robustness of NAS by learning from a robust teacher through cross-layer knowledge distillation. Unlike previous knowledge distillation methods that encourage close student/teacher output only in the last layer, RNAS-CL automatically searches for the best teacher layer to supervise each student layer. Experimental result evidences the effectiveness of RNAS-CL and shows that RNAS-CL produces small and robust neural architecture.
• Abstract（参考訳）: ディープニューラルネットワークは敵の攻撃に弱い。 ディープニューラルネットワークの駆動ツールのひとつであるNeural Architecture Search(NAS)は、さまざまな機械学習アプリケーションにおいて、予測精度の優れたパフォーマンスを示す。 しかし、敵の攻撃に対してどのように行動するかは不明である。 頑健な教師の存在を考えると、NASが教師から頑健さを継承することで、堅牢な神経アーキテクチャを生み出すかどうかを調べることは興味深い。 本稿では,新しいnasアルゴリズムであるクロスレイヤー知識蒸留(rnas-cl)によるロバストニューラルネットワーク探索を提案し,ロバスト教師からクロスレイヤー知識蒸留を通じて学習することにより,nasのロバスト性を向上させる。 従来の知識蒸留法とは異なり、RNAS-CLは各生徒層を監督する最高の教師層を自動で検索する。 実験の結果、RNAS-CLの有効性が証明され、RNAS-CLが小さく頑丈な神経アーキテクチャを生み出すことが示された。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning [0.0]
  コントローラベースのNASに適用可能なプリトレーニング方式を提案する。 本手法は局所性に基づく自己教師付き分類タスクであり,ネットワークアーキテクチャの構造的類似性を活用し,優れたアーキテクチャ表現を得る。
  論文  参考訳（メタデータ） (2021-03-15T06:30:36Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Revisiting Neural Architecture Search [0.0]
  我々は、人間の努力を伴わずに完全なニューラルネットワークを探索する新しいアプローチを提案し、AutoML-nirvanaに一歩近づいた。 提案手法は,ニューラルネットワークにマッピングされた完全なグラフから始まり,探索空間の探索と利用のバランスをとることにより,接続と操作を探索する。
  論文  参考訳（メタデータ） (2020-10-12T13:57:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。