論文の概要: FlatNAS: optimizing Flatness in Neural Architecture Search for
Out-of-Distribution Robustness
- arxiv url: http://arxiv.org/abs/2402.19102v1
- Date: Thu, 29 Feb 2024 12:33:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 14:52:53.534494
- Title: FlatNAS: optimizing Flatness in Neural Architecture Search for
Out-of-Distribution Robustness
- Title（参考訳）: flatnas: 分散ロバスト性を求めるニューラルネットワークのフラット性最適化
- Authors: Matteo Gambella, Fabrizio Pittorino, and Manuel Roveri
- Abstract要約: 本研究では、FlatNAS(Flat Neural Architecture Search)と呼ばれる新しいNASソリューションを提案する。
シャープネス・アウェア・ミニマライゼーション(SAM)を用いた1つのNN最適化と頑健さから重みへの摂動に基づく新しいメリット像の相互作用を探索する。
NAS設計モデルのOODロバスト性は、文献における一般的なベンチマークデータセットを用いて、入力データの破損に対するロバスト性に着目して評価される。
- 参考スコア（独自算出の注目度）: 3.724847012963521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) paves the way for the automatic definition
of Neural Network (NN) architectures, attracting increasing research attention
and offering solutions in various scenarios. This study introduces a novel NAS
solution, called Flat Neural Architecture Search (FlatNAS), which explores the
interplay between a novel figure of merit based on robustness to weight
perturbations and single NN optimization with Sharpness-Aware Minimization
(SAM). FlatNAS is the first work in the literature to systematically explore
flat regions in the loss landscape of NNs in a NAS procedure, while jointly
optimizing their performance on in-distribution data, their out-of-distribution
(OOD) robustness, and constraining the number of parameters in their
architecture. Differently from current studies primarily concentrating on OOD
algorithms, FlatNAS successfully evaluates the impact of NN architectures on
OOD robustness, a crucial aspect in real-world applications of machine and deep
learning. FlatNAS achieves a good trade-off between performance, OOD
generalization, and the number of parameters, by using only in-distribution
data in the NAS exploration. The OOD robustness of the NAS-designed models is
evaluated by focusing on robustness to input data corruptions, using popular
benchmark datasets in the literature.
- Abstract（参考訳）: neural architecture search(nas)は、ニューラルネットワーク(nn)アーキテクチャの自動定義への道を開き、さまざまなシナリオにおける研究の注目を集め、ソリューションを提供する。
本研究ではFlatNAS(Flat Neural Architecture Search)と呼ばれる新しいNASソリューションを提案する。これは、重量摂動に対するロバスト性に基づく新しいメリットの人物と、Sharpness-Aware Minimization (SAM)による単一NN最適化との相互作用を探索するものである。
FlatNASは、NASプロシージャにおいてNNの損失ランドスケープにおける平坦な領域を体系的に探索する最初の論文であり、その一方で、分布内データ、分布外ロバスト性(OOD)、アーキテクチャにおけるパラメータの数を制限することを共同で最適化している。
主にOODアルゴリズムに焦点を当てた現在の研究とは異なり、FlatNASはNNアーキテクチャがOOD堅牢性に与える影響をうまく評価している。
FlatNASはNAS探索において,分布内データのみを用いることで,性能,OOD一般化,パラメータ数との良好なトレードオフを実現する。
NAS設計モデルのOODロバスト性は、文献における一般的なベンチマークデータセットを用いて、入力データの破損に対するロバスト性に着目して評価される。
関連論文リスト
- Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning [0.0]
本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。
まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。
次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。
最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
論文 参考訳（メタデータ） (2024-06-19T12:39:02Z) - Generalizable Lightweight Proxy for Robust NAS against Diverse
Perturbations [59.683234126055694]
最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。
クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。
提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
論文 参考訳（メタデータ） (2023-06-08T08:34:26Z) - Robust Neural Architecture Search [19.214462477848535]
我々は、新しいNAS手法、Robust Neural Architecture Search (RNAS)を提案する。
精度とロバスト性のバランスをとるために正規化項を設計するために、RNASは高い精度と良好なロバスト性の両方でアーキテクチャを生成する。
実験により、RNASは画像分類と敵攻撃の両方において最先端(SOTA)性能を達成することが示された。
論文 参考訳（メタデータ） (2023-04-06T03:21:24Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳（メタデータ） (2022-09-15T12:11:41Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - Lightweight Monocular Depth with a Novel Neural Architecture Search
Method [46.97673710849343]
本稿では,軽量な単分子深度推定モデルを生成するために,LiDNASと呼ばれる新しいニューラルネットワーク探索手法を提案する。
我々は,階層の多様性と探索空間の大きさのバランスをとるために,事前に定義されたバックボーンネットワーク上に探索空間を構築した。
LiDNAS最適化モデルは、NYU-Depth-v2、KITTI、ScanNet上でのコンパクトな深さ推定よりも優れた結果が得られる。
論文 参考訳（メタデータ） (2021-08-25T08:06:28Z) - Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。
MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。
いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
論文 参考訳（メタデータ） (2021-04-06T14:03:01Z) - AdvantageNAS: Efficient Neural Architecture Search with Credit
Assignment [23.988393741948485]
ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。
アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。
NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
論文 参考訳（メタデータ） (2020-12-11T05:45:03Z) - Neural Network Design: Learning from Neural Architecture Search [3.9430294028981763]
ニューラルネットワーク探索(NAS)は、ディープニューラルネットワークのアーキテクチャを最適化し、精度の向上や計算コストの削減を目的としている。
NASの課題を解決するための様々なアプローチが提案されているが、その性質とともに、その景観は滅多に研究されていない。
論文 参考訳（メタデータ） (2020-11-01T15:02:02Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。