論文の概要: Towards a Robust Differentiable Architecture Search under Label Noise

• arxiv url: http://arxiv.org/abs/2110.12197v1
• Date: Sat, 23 Oct 2021 11:31:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 14:39:01.867056
• Title: Towards a Robust Differentiable Architecture Search under Label Noise
• Title（参考訳）: ラベル雑音下でのロバストな微分可能なアーキテクチャ探索に向けて
• Authors: Christian Simon, Piotr Koniusz, Lars Petersson, Yan Han, Mehrtash Harandi
• Abstract要約: バニラNASアルゴリズムは, クラスラベルがうるさい場合, 性能損失に悩まされることを示す。 実験により, ノイズ注入操作がNASアルゴリズムの性能を低下させないことを示す。
• 参考スコア（独自算出の注目度）: 44.86506257979988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) is the game changer in designing robust neural architectures. Architectures designed by NAS outperform or compete with the best manual network designs in terms of accuracy, size, memory footprint and FLOPs. That said, previous studies focus on developing NAS algorithms for clean high quality data, a restrictive and somewhat unrealistic assumption. In this paper, focusing on the differentiable NAS algorithms, we show that vanilla NAS algorithms suffer from a performance loss if class labels are noisy. To combat this issue, we make use of the principle of information bottleneck as a regularizer. This leads us to develop a noise injecting operation that is included during the learning process, preventing the network from learning from noisy samples. Our empirical evaluations show that the noise injecting operation does not degrade the performance of the NAS algorithm if the data is indeed clean. In contrast, if the data is noisy, the architecture learned by our algorithm comfortably outperforms algorithms specifically equipped with sophisticated mechanisms to learn in the presence of label noise. In contrast to many algorithms designed to work in the presence of noisy labels, prior knowledge about the properties of the noise and its characteristics are not required for our algorithm.
• Abstract（参考訳）: Neural Architecture Search (NAS)は、堅牢なニューラルアーキテクチャを設計するゲームチェンジャーである。 NASによって設計されたアーキテクチャは、精度、サイズ、メモリフットプリント、FLOPの点で、最高の手動ネットワーク設計よりも優れるか、競合する。 とはいえ、これまでの研究では、高品質なデータをきれいにするためのNASアルゴリズムの開発に重点を置いていた。 本稿では、微分可能なNASアルゴリズムに着目し、クラスラベルがうるさい場合、バニラNASアルゴリズムが性能損失に悩まされることを示す。 この問題に対処するために,我々は情報ボトルネックの原理をレギュラライザとして利用する。 これにより、学習過程に含まれるノイズ注入操作を開発し、ノイズサンプルからネットワークを学習するのを防ぐことができる。 実験結果から, ノイズ注入動作は, データがクリーンであればnasアルゴリズムの性能を低下させることはないことがわかった。 対照的に、データにノイズがある場合、我々のアルゴリズムが学習したアーキテクチャは、ラベルノイズの存在下で学習するための高度なメカニズムを備えたアルゴリズムよりも快適に優れている。 ノイズラベルの存在下で機能するように設計された多くのアルゴリズムとは対照的に,ノイズの性質とその特性に関する事前知識は,アルゴリズムに必要ではない。

関連論文リスト

• Graph is all you need? Lightweight data-agnostic neural architecture search without training [45.79667238486864]
  ニューラルアーキテクチャサーチ(NAS)は、ニューラルネットワークモデルの自動設計を可能にする。 我々の手法はnasgraphと呼ばれ、ニューラルネットワークをグラフに変換することによって計算コストを大幅に削減する。 NAS-Bench201からランダムにサンプリングされた200のアーキテクチャの中で、最高のアーキテクチャを217CPU秒で見つけることができる。
  論文  参考訳（メタデータ） (2024-05-02T14:12:58Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• Heed the Noise in Performance Evaluations in Neural Architecture Search [0.0]
  ニューラルアーキテクチャサーチ(NAS)は最近、大きな関心事のトピックになっている。 NASには、ほとんど認識されていないノイズという、潜在的に影響のある問題がある。 本稿では、複数のネットワークトレーニング実行におけるスコアの平均化をアーキテクチャ評価することで、ノイズを低減することを提案する。
  論文  参考訳（メタデータ） (2022-02-04T11:20:46Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• Generic Neural Architecture Search via Regression [27.78105839644199]
  我々は、ジェネリックNAS(GenNAS)と呼ばれる新規で汎用的なニューラルアーキテクチャサーチ(NAS)フレームワークを提案する。 GenNASはタスク固有のラベルを使用せず、代わりに、アーキテクチャ評価のために手動で設計された合成信号基盤のセットにtextitregressionを採用する。 次に,下流タスク固有のラベルを用いた合成信号の組み合わせを最適化するタスクの自動探索を提案する。
  論文  参考訳（メタデータ） (2021-08-04T08:21:12Z)
• Poisoning the Search Space in Neural Architecture Search [0.0]
  我々は,探索空間におけるデータ中毒攻撃に対して,効率的なNASと呼ばれるアルゴリズムのロバスト性を評価する。 以上の結果から,NASを用いたアーキテクチャ探索の課題に対する洞察が得られた。
  論文  参考訳（メタデータ） (2021-06-28T05:45:57Z)
• Exploring the Loss Landscape in Neural Architecture Search [15.830099254570959]
  最も単純なヒルクライミングアルゴリズムはNASの強力なベースラインであることを示す。 また,雑音の減少に伴って局所最小値が大幅に減少することを示す。
  論文  参考訳（メタデータ） (2020-05-06T17:09:16Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。