論文の概要: DARTS-: Robustly Stepping out of Performance Collapse Without Indicators
- arxiv url: http://arxiv.org/abs/2009.01027v2
- Date: Fri, 15 Jan 2021 07:58:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 18:18:55.041520
- Title: DARTS-: Robustly Stepping out of Performance Collapse Without Indicators
- Title(参考訳): DARTS-: 指標のないパフォーマンスの崩壊から頑丈に抜け出す
- Authors: Xiangxiang Chu, Xiaoxing Wang, Bo Zhang, Shun Lu, Xiaolin Wei, Junchi
Yan
- Abstract要約: 異なるアーキテクチャ検索は、長期にわたるパフォーマンスの不安定さに悩まされる。
ヘッセン固有値のような指標は、性能が崩壊する前に探索を止める信号として提案される。
本稿では,崩壊を解決するために,より微妙で直接的なアプローチをとる。
- 参考スコア(独自算出の注目度): 74.21019737169675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the fast development of differentiable architecture search (DARTS),
it suffers from long-standing performance instability, which extremely limits
its application. Existing robustifying methods draw clues from the resulting
deteriorated behavior instead of finding out its causing factor. Various
indicators such as Hessian eigenvalues are proposed as a signal to stop
searching before the performance collapses. However, these indicator-based
methods tend to easily reject good architectures if the thresholds are
inappropriately set, let alone the searching is intrinsically noisy. In this
paper, we undertake a more subtle and direct approach to resolve the collapse.
We first demonstrate that skip connections have a clear advantage over other
candidate operations, where it can easily recover from a disadvantageous state
and become dominant. We conjecture that this privilege is causing degenerated
performance. Therefore, we propose to factor out this benefit with an auxiliary
skip connection, ensuring a fairer competition for all operations. We call this
approach DARTS-. Extensive experiments on various datasets verify that it can
substantially improve robustness. Our code is available at
https://github.com/Meituan-AutoML/DARTS- .
- Abstract(参考訳): 差別化可能なアーキテクチャサーチ(DARTS)の急速な開発にもかかわらず、長期にわたるパフォーマンスの不安定さに悩まされ、アプリケーションは非常に制限される。
既存の堅牢化手法は、原因を突き止める代わりに、結果として生じる劣化した振る舞いから手がかりを引き出す。
ヘッセン固有値のような様々な指標は、性能が崩壊する前に探索を止める信号として提案される。
しかし、これらの指標に基づく手法は、しきい値が不適切に設定されている場合や、探索が本質的にうるさい場合は容易に良いアーキテクチャを拒否する傾向にある。
本稿では,崩壊を解決するために,より微妙で直接的なアプローチを講じる。
まず、スキップ接続が他の候補操作よりも明らかに有利であることを示し、そこでは不利な状態から容易に回復し、支配的になる。
我々はこの特権が劣化パフォーマンスを引き起こしていると推測する。
そこで我々は,この利点を補助的なスキップ接続で解決し,全ての操作に対して公平な競合を保証することを提案する。
このアプローチをDARTS-と呼ぶ。
様々なデータセットに対する大規模な実験は、堅牢性を大幅に改善できることを確認した。
私たちのコードはhttps://github.com/Meituan-AutoML/DARTS-で利用可能です。
関連論文リスト
- Improving a Named Entity Recognizer Trained on Noisy Data with a Few
Clean Instances [55.37242480995541]
クリーンなインスタンスの小さなセットから,ノイズの多いNERデータを誘導することで,ノイズを発生させる手法を提案する。
メインのNERモデルとともに、判別器モデルをトレーニングし、その出力を使用してサンプルの重み付けを校正します。
クラウドソーシングと遠隔監視データセットの結果から,提案手法は少ないガイダンスセットで継続的に性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2023-10-25T17:23:37Z) - A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
本稿では,DAF(Disdisrepancy Aware Framework)を提案する。
本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。
単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
論文 参考訳(メタデータ) (2023-10-11T15:21:40Z) - Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。
実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。
学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
論文 参考訳(メタデータ) (2023-04-04T22:45:50Z) - Operation-level Progressive Differentiable Architecture Search [19.214462477848535]
本研究では,接続アグリゲーションのスキップを回避するために,オペレーショナル・プログレッシブ・差別化可能なニューラルアーキテクチャ・サーチ(OPP-DARTS)を提案する。
CIFAR-10における本手法の性能は,標準DARTSのアーキテクチャよりも優れている。
論文 参考訳(メタデータ) (2023-02-11T09:18:01Z) - ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。
まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。
最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
論文 参考訳(メタデータ) (2022-07-14T17:46:37Z) - Enhancing the Robustness, Efficiency, and Diversity of Differentiable
Architecture Search [25.112048502327738]
微分可能なアーキテクチャサーチ(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。
多くの研究は、インジケータや手動設計によるスキップ接続の蓄積を制限しようと試みている。
操作空間からスキップ接続を除去する、より微妙で直接的なアプローチを提案する。
論文 参考訳(メタデータ) (2022-04-10T13:25:36Z) - Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。
この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。
本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
論文 参考訳(メタデータ) (2021-09-01T07:01:33Z) - Leaning Compact and Representative Features for Cross-Modality Person
Re-Identification [18.06382007908855]
本稿では,クロスモダリティ可視赤外人物再識別(vi re-id)タスクに注目する。
提案手法は他の最も先進的な手法よりも印象的な性能で優れている。
論文 参考訳(メタデータ) (2021-03-26T01:53:16Z) - Noisy Differentiable Architecture Search [13.154295073267367]
微分可能なアーキテクチャサーチ(DARTS)は、現在ではニューラルアーキテクチャサーチの主流パラダイムの1つとなっている。
主に、スキップ接続の集約によって、よく知られたパフォーマンスの崩壊問題に悩まされる。
流れを妨げるために非バイアスランダムノイズを注入することを提案する。
論文 参考訳(メタデータ) (2020-05-07T15:53:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。