論文の概要: DARTS-: Robustly Stepping out of Performance Collapse Without Indicators

• arxiv url: http://arxiv.org/abs/2009.01027v2
• Date: Fri, 15 Jan 2021 07:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 18:18:55.041520
• Title: DARTS-: Robustly Stepping out of Performance Collapse Without Indicators
• Title（参考訳）: DARTS-: 指標のないパフォーマンスの崩壊から頑丈に抜け出す
• Authors: Xiangxiang Chu, Xiaoxing Wang, Bo Zhang, Shun Lu, Xiaolin Wei, Junchi Yan
• Abstract要約: 異なるアーキテクチャ検索は、長期にわたるパフォーマンスの不安定さに悩まされる。 ヘッセン固有値のような指標は、性能が崩壊する前に探索を止める信号として提案される。 本稿では,崩壊を解決するために,より微妙で直接的なアプローチをとる。
• 参考スコア（独自算出の注目度）: 74.21019737169675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the fast development of differentiable architecture search (DARTS), it suffers from long-standing performance instability, which extremely limits its application. Existing robustifying methods draw clues from the resulting deteriorated behavior instead of finding out its causing factor. Various indicators such as Hessian eigenvalues are proposed as a signal to stop searching before the performance collapses. However, these indicator-based methods tend to easily reject good architectures if the thresholds are inappropriately set, let alone the searching is intrinsically noisy. In this paper, we undertake a more subtle and direct approach to resolve the collapse. We first demonstrate that skip connections have a clear advantage over other candidate operations, where it can easily recover from a disadvantageous state and become dominant. We conjecture that this privilege is causing degenerated performance. Therefore, we propose to factor out this benefit with an auxiliary skip connection, ensuring a fairer competition for all operations. We call this approach DARTS-. Extensive experiments on various datasets verify that it can substantially improve robustness. Our code is available at https://github.com/Meituan-AutoML/DARTS- .
• Abstract（参考訳）: 差別化可能なアーキテクチャサーチ(DARTS)の急速な開発にもかかわらず、長期にわたるパフォーマンスの不安定さに悩まされ、アプリケーションは非常に制限される。 既存の堅牢化手法は、原因を突き止める代わりに、結果として生じる劣化した振る舞いから手がかりを引き出す。 ヘッセン固有値のような様々な指標は、性能が崩壊する前に探索を止める信号として提案される。 しかし、これらの指標に基づく手法は、しきい値が不適切に設定されている場合や、探索が本質的にうるさい場合は容易に良いアーキテクチャを拒否する傾向にある。 本稿では,崩壊を解決するために,より微妙で直接的なアプローチを講じる。 まず、スキップ接続が他の候補操作よりも明らかに有利であることを示し、そこでは不利な状態から容易に回復し、支配的になる。 我々はこの特権が劣化パフォーマンスを引き起こしていると推測する。 そこで我々は,この利点を補助的なスキップ接続で解決し,全ての操作に対して公平な競合を保証することを提案する。 このアプローチをDARTS-と呼ぶ。 様々なデータセットに対する大規模な実験は、堅牢性を大幅に改善できることを確認した。 私たちのコードはhttps://github.com/Meituan-AutoML/DARTS-で利用可能です。

関連論文リスト

• Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
  オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。 既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。 アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-03-19T18:57:53Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
  自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。 実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。 学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
  論文  参考訳（メタデータ） (2023-04-04T22:45:50Z)
• Operation-level Progressive Differentiable Architecture Search [19.214462477848535]
  本研究では,接続アグリゲーションのスキップを回避するために,オペレーショナル・プログレッシブ・差別化可能なニューラルアーキテクチャ・サーチ(OPP-DARTS)を提案する。 CIFAR-10における本手法の性能は,標準DARTSのアーキテクチャよりも優れている。
  論文  参考訳（メタデータ） (2023-02-11T09:18:01Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• Enhancing the Robustness, Efficiency, and Diversity of Differentiable Architecture Search [25.112048502327738]
  微分可能なアーキテクチャサーチ(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。 多くの研究は、インジケータや手動設計によるスキップ接続の蓄積を制限しようと試みている。 操作空間からスキップ接続を除去する、より微妙で直接的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-10T13:25:36Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• Leaning Compact and Representative Features for Cross-Modality Person Re-Identification [18.06382007908855]
  本稿では,クロスモダリティ可視赤外人物再識別(vi re-id)タスクに注目する。 提案手法は他の最も先進的な手法よりも印象的な性能で優れている。
  論文  参考訳（メタデータ） (2021-03-26T01:53:16Z)
• Noisy Differentiable Architecture Search [13.154295073267367]
  微分可能なアーキテクチャサーチ(DARTS)は、現在ではニューラルアーキテクチャサーチの主流パラダイムの1つとなっている。 主に、スキップ接続の集約によって、よく知られたパフォーマンスの崩壊問題に悩まされる。 流れを妨げるために非バイアスランダムノイズを注入することを提案する。
  論文  参考訳（メタデータ） (2020-05-07T15:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。