Fugu-MT 論文翻訳(概要): NAS-OoD: Neural Architecture Search for Out-of-Distribution Generalization

論文の概要: NAS-OoD: Neural Architecture Search for Out-of-Distribution Generalization

arxiv url: http://arxiv.org/abs/2109.02038v1
Date: Sun, 5 Sep 2021 10:23:29 GMT
ステータス: 処理完了
システム内更新日: 2021-09-07 16:30:41.976182
Title: NAS-OoD: Neural Architecture Search for Out-of-Distribution Generalization
Title（参考訳）: NAS-OoD: 分布外一般化のためのニューラルネットワーク探索
Authors: Haoyue Bai, Fengwei Zhou, Lanqing Hong, Nanyang Ye, S.-H. Gary Chan, Zhenguo Li
Abstract要約: 我々は、OoD一般化のための堅牢なニューラルネットワーク探索(NAS-OoD)を提案する。 NAS-OoDは、パラメータ数がはるかに少ないディープモデルを持つ様々なOoD一般化ベンチマークにおいて、優れた性能を達成する。実業界データセットでは,NAS-OoD法は最先端手法と比較して誤差率を70%以上削減する。
参考スコア（独自算出の注目度）: 23.859795806659395
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances on Out-of-Distribution (OoD) generalization reveal the robustness of deep learning models against distribution shifts. However, existing works focus on OoD algorithms, such as invariant risk minimization, domain generalization, or stable learning, without considering the influence of deep model architectures on OoD generalization, which may lead to sub-optimal performance. Neural Architecture Search (NAS) methods search for architecture based on its performance on the training data, which may result in poor generalization for OoD tasks. In this work, we propose robust Neural Architecture Search for OoD generalization (NAS-OoD), which optimizes the architecture with respect to its performance on generated OoD data by gradient descent. Specifically, a data generator is learned to synthesize OoD data by maximizing losses computed by different neural architectures, while the goal for architecture search is to find the optimal architecture parameters that minimize the synthetic OoD data losses. The data generator and the neural architecture are jointly optimized in an end-to-end manner, and the minimax training process effectively discovers robust architectures that generalize well for different distribution shifts. Extensive experimental results show that NAS-OoD achieves superior performance on various OoD generalization benchmarks with deep models having a much fewer number of parameters. In addition, on a real industry dataset, the proposed NAS-OoD method reduces the error rate by more than 70% compared with the state-of-the-art method, demonstrating the proposed method's practicality for real applications.
Abstract（参考訳）: out-of-distribution(ood)一般化の最近の進歩は、分布シフトに対するディープラーニングモデルの堅牢性を明らかにしている。しかし、既存の研究は、リスク最小化やドメインの一般化、安定した学習といったOoDアルゴリズムに重点を置いており、深層モデルアーキテクチャがOoD一般化に与える影響を考慮せず、それが準最適性能をもたらす可能性がある。ニューラルアーキテクチャサーチ(NAS)手法は、トレーニングデータに基づくアーキテクチャを探索し、OoDタスクの一般化が不十分になる可能性がある。本研究では,OoD 一般化のための堅牢なニューラルアーキテクチャ探索 (NAS-OoD) を提案する。具体的には、異なるニューラルネットワークで計算される損失を最大化することで、データジェネレータがoodデータを合成することを学び、アーキテクチャ探索の目的は、合成oodデータ損失を最小化する最適なアーキテクチャパラメータを見つけることである。データジェネレータとニューラルアーキテクチャは、エンドツーエンドで共同最適化され、ミニマックストレーニングプロセスは、異なる分散シフトに対して適切に一般化される堅牢なアーキテクチャを効果的に発見する。実験結果から,NAS-OoDは,パラメータ数がはるかに少ない深部モデルを用いた様々なOoD一般化ベンチマークにおいて,優れた性能を発揮することが示された。さらに,実業界データセットでは,本手法の実用性を示すため,実業界で提案するnas-ood法は最先端手法と比較して誤差率を70%以上低減する。

関連論文リスト

Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
論文参考訳（メタデータ） (2024-10-25T20:50:32Z)
POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
論文参考訳（メタデータ） (2024-09-30T16:05:29Z)
GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文参考訳（メタデータ） (2023-05-15T12:44:54Z)
SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
論文参考訳（メタデータ） (2022-05-09T07:51:54Z)
ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文参考訳（メタデータ） (2021-10-10T09:35:15Z)
Homogeneous Architecture Augmentation for Neural Predictor [13.35821898997164]
ニューラル・アーキテクチャ・サーチ(NAS)は、手前のタスクのためにディープ・ニューラル・ニューラルネットワーク(DNN)の優れたアーキテクチャを自動で設計することができる。 NASのボトルネックの1つは、高価な性能評価のため、計算コストである。その人気にもかかわらず、それらは、神経予測器を効果的に訓練するための注釈付きDNNアーキテクチャの不足という、深刻な制限を被っている。
論文参考訳（メタデータ） (2021-07-28T03:46:33Z)
iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。暗黙の関数定理に基づいてDARTSの過次計算に取り組む。提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文参考訳（メタデータ） (2021-06-21T00:44:11Z)
Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
論文参考訳（メタデータ） (2020-07-17T18:29:17Z)
DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文参考訳（メタデータ） (2020-06-18T08:23:02Z)
A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。