論文の概要: An Evaluation of Zero-Cost Proxies -- from Neural Architecture
Performance to Model Robustness
- arxiv url: http://arxiv.org/abs/2307.09365v1
- Date: Tue, 18 Jul 2023 15:48:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 13:54:11.188304
- Title: An Evaluation of Zero-Cost Proxies -- from Neural Architecture
Performance to Model Robustness
- Title(参考訳): ゼロコストプロキシの評価 --ニューラルアーキテクチャの性能からモデルロバスト性まで-
- Authors: Jovita Lukasik, Michael Moeller, Margret Keuper
- Abstract要約: 我々は,NAS-Bench-201の探索空間において,一般的なゼロコストプロキシがロバスト性に対する性能予測器として機能する能力について分析する。
我々は、ロバスト性を予測することによって、既存のゼロコストプロキシからの予測タスクがより困難になることを示す。
- 参考スコア(独自算出の注目度): 15.820891247248861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-cost proxies are nowadays frequently studied and used to search for
neural architectures. They show an impressive ability to predict the
performance of architectures by making use of their untrained weights. These
techniques allow for immense search speed-ups. So far the joint search for
well-performing and robust architectures has received much less attention in
the field of NAS. Therefore, the main focus of zero-cost proxies is the clean
accuracy of architectures, whereas the model robustness should play an evenly
important part. In this paper, we analyze the ability of common zero-cost
proxies to serve as performance predictors for robustness in the popular
NAS-Bench-201 search space. We are interested in the single prediction task for
robustness and the joint multi-objective of clean and robust accuracy. We
further analyze the feature importance of the proxies and show that predicting
the robustness makes the prediction task from existing zero-cost proxies more
challenging. As a result, the joint consideration of several proxies becomes
necessary to predict a model's robustness while the clean accuracy can be
regressed from a single such feature.
- Abstract(参考訳): ゼロコストプロキシは近年頻繁に研究され、ニューラルアーキテクチャの探索に用いられる。
トレーニングされていない重みを使ってアーキテクチャのパフォーマンスを予測できる印象的な能力を示している。
これらの技術は検索の高速化を可能にする。
これまでのところ、高性能でロバストなアーキテクチャに対する共同調査は、nasの分野においてあまり注目されていない。
したがって、ゼロコストプロキシの主な焦点は、アーキテクチャのクリーンな精度であるが、モデルロバスト性は、等しく重要な役割を果たすべきである。
本稿では,一般的なゼロコストプロキシがNAS-Bench-201探索空間において,ロバスト性を示す性能予測器として機能することを示す。
我々は、ロバストネスの単一予測タスクと、クリーンでロバストな精度のジョイント多目的性に興味を持っている。
さらに,これらのプロキシの特徴の重要性を解析し,ロバスト性予測が既存のゼロコストプロキシからの予測タスクをより困難にすることを示す。
その結果、モデルのロバスト性を予測するために複数のプロキシの結合的考慮が必要となり、一方、クリーンな精度を単一の特徴から回帰させることができる。
関連論文リスト
- Neural Architecture Design and Robustness: A Dataset [11.83842808044211]
ニューラルアーキテクチャ設計とロバストネス評価に関するデータベースを導入する。
我々は、これらのネットワークを、様々な共通の敵攻撃や汚職タイプで評価する。
ネットワークのトポロジを慎重に構築することは、その堅牢性に大きな影響を与える可能性がある。
論文 参考訳(メタデータ) (2023-06-11T16:02:14Z) - Generalizable Lightweight Proxy for Robust NAS against Diverse
Perturbations [59.683234126055694]
最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。
クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。
提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
論文 参考訳(メタデータ) (2023-06-08T08:34:26Z) - Unified Probabilistic Neural Architecture and Weight Ensembling Improves
Model Robustness [3.6607006319608226]
統一確率的アーキテクチャと重み付けニューラルアーキテクチャサーチ(UraeNAS)を提案する。
提案手法は, 分布内(0.86%の精度)と分布外(2.43%の精度)で有意な改善を示した。
論文 参考訳(メタデータ) (2022-10-08T18:30:30Z) - Evolving Zero Cost Proxies For Neural Architecture Scoring [3.441021278275805]
ニューラルネットワークスコアリングのためのゼロコストプロキシの発見を自動化するための遺伝的プログラミングフレームワークを提案する。
本手法は,解析可能かつ一般化可能なゼロコストプロキシを効率よく発見し,高いスコアと精度の相関関係を示す。
論文 参考訳(メタデータ) (2022-09-15T16:10:16Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳(メタデータ) (2021-02-21T01:58:43Z) - Generalized Latency Performance Estimation for Once-For-All Neural
Architecture Search [0.0]
特定のハードウェアとNAS検索空間で訓練されたベースモデルを用いた微調整を含む2つの汎用性戦略を紹介します。
ProxylessNASに比べて50%以上低いRMSE損失を達成できる待ち時間予測モデル群を提供する。
論文 参考訳(メタデータ) (2021-01-04T00:48:09Z) - RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。
我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。
分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文 参考訳(メタデータ) (2020-10-19T17:06:18Z) - A general framework for defining and optimizing robustness [74.67016173858497]
分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。
我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。
我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
論文 参考訳(メタデータ) (2020-06-19T13:24:20Z) - Speedy Performance Estimation for Neural Architecture Search [47.683124540824515]
そこで本研究では,トレーニング速度の簡易な測定値に基づいて最終試験性能を推定する。
我々の推定器は、一般化と学習速度の関連によって理論的に動機付けられている。
論文 参考訳(メタデータ) (2020-06-08T11:48:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。