論文の概要: $\mu$DARTS: Model Uncertainty-Aware Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2107.11500v1
• Date: Sat, 24 Jul 2021 01:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 10:21:08.114193
• Title: $\mu$DARTS: Model Uncertainty-Aware Differentiable Architecture Search
• Title（参考訳）: $\mu$darts: モデル不確かさを認識可能なアーキテクチャ検索
• Authors: Biswadeep Chakraborty and Saibal Mukhopadhyay
• Abstract要約: DARTSセル内にコンクリートドロップアウトを導入し,モンテカルロレギュレータをトレーニング損失に組み込んでコンクリートドロップアウト確率を最適化する。 CIFAR10, CIFAR100, SVHN, ImageNetでの実験では,$mu$DARTSの有効性が検証された。
• 参考スコア（独自算出の注目度）: 8.024434062411943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a Model Uncertainty-aware Differentiable ARchiTecture Search ($\mu$DARTS) that optimizes neural networks to simultaneously achieve high accuracy and low uncertainty. We introduce concrete dropout within DARTS cells and include a Monte-Carlo regularizer within the training loss to optimize the concrete dropout probabilities. A predictive variance term is introduced in the validation loss to enable searching for architecture with minimal model uncertainty. The experiments on CIFAR10, CIFAR100, SVHN, and ImageNet verify the effectiveness of $\mu$DARTS in improving accuracy and reducing uncertainty compared to existing DARTS methods. Moreover, the final architecture obtained from $\mu$DARTS shows higher robustness to noise at the input image and model parameters compared to the architecture obtained from existing DARTS methods.
• Abstract（参考訳）: ニューラルネットワークを最適化し,高精度かつ低不確実性を同時に達成するモデル不確実性認識型微分ARchiTecture Search(\mu$DARTS)を提案する。 DARTSセル内にコンクリートドロップアウトを導入し,モンテカルロレギュレータをトレーニング損失に組み込んでコンクリートドロップアウト確率を最適化する。 検証損失に予測分散項を導入し、最小限のモデル不確実性を持つアーキテクチャの探索を可能にする。 CIFAR10, CIFAR100, SVHN, ImageNetの実験により, 既存のDARTS法と比較して精度の向上と不確実性の低減に$\mu$DARTSの有効性が検証された。 さらに、$\mu$DARTSから得られた最終アーキテクチャは、既存のDARTS法と比較して入力画像やモデルパラメータのノイズに対する堅牢性が高い。

関連論文リスト

• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• SURE: SUrvey REcipes for building reliable and robust deep networks [12.268921703825258]
  本稿では,深層ニューラルネットワークにおける不確実性推定手法を再検討し,信頼性を高めるために一連の手法を統合する。 我々は,不確実性推定の有効性を示す重要なテストベッドである故障予測のベンチマークに対して,SUREを厳格に評価する。 データ破損、ラベルノイズ、長い尾のクラス分布といった現実世界の課題に適用した場合、SUREは顕著な堅牢性を示し、現在の最先端の特殊手法と同等あるいは同等な結果をもたらす。
  論文  参考訳（メタデータ） (2024-03-01T13:58:19Z)
• Unified Probabilistic Neural Architecture and Weight Ensembling Improves Model Robustness [3.6607006319608226]
  統一確率的アーキテクチャと重み付けニューラルアーキテクチャサーチ(UraeNAS)を提案する。 提案手法は, 分布内(0.86%の精度)と分布外(2.43%の精度)で有意な改善を示した。
  論文  参考訳（メタデータ） (2022-10-08T18:30:30Z)
• SmoothNets: Optimizing CNN architecture design for differentially private deep learning [69.10072367807095]
  DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。 これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。 SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
  論文  参考訳（メタデータ） (2022-05-09T07:51:54Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• MS-DARTS: Mean-Shift Based Differentiable Architecture Search [11.115656548869199]
  サンプリングと摂動に基づく安定性向上のための平均シフトベースDARTS(MS-DARTS)を提案する。 MS-DARTSは、検索コストを削減した他の最先端NASメソッドよりも高いパフォーマンスをアーカイブする。
  論文  参考訳（メタデータ） (2021-08-23T08:06:45Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Differentiable Robust LQR Layers [26.67150576276949]
  本稿では,モデル不確実性と動的性の下での強化学習と模倣学習のための,識別可能な頑健なLQR層を提案する。 制御系における新しいタイプの帰納バイアス量と不確実性モデリングを提供する。 実験結果から,不確実な状況下でのロバストポリシを最適化できることがわかった。
  論文  参考訳（メタデータ） (2021-06-10T06:52:31Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。