論文の概要: Neural Ensemble Search for Uncertainty Estimation and Dataset Shift

• arxiv url: http://arxiv.org/abs/2006.08573v3
• Date: Mon, 21 Feb 2022 19:31:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:13:59.830036
• Title: Neural Ensemble Search for Uncertainty Estimation and Dataset Shift
• Title（参考訳）: 不確実性推定とデータセットシフトのためのニューラルアンサンブル探索
• Authors: Sheheryar Zaidi, Arber Zela, Thomas Elsken, Chris Holmes, Frank Hutter, Yee Whye Teh
• Abstract要約: ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 67.57720300323928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembles of neural networks achieve superior performance compared to stand-alone networks in terms of accuracy, uncertainty calibration and robustness to dataset shift. \emph{Deep ensembles}, a state-of-the-art method for uncertainty estimation, only ensemble random initializations of a \emph{fixed} architecture. Instead, we propose two methods for automatically constructing ensembles with \emph{varying} architectures, which implicitly trade-off individual architectures' strengths against the ensemble's diversity and exploit architectural variation as a source of diversity. On a variety of classification tasks and modern architecture search spaces, we show that the resulting ensembles outperform deep ensembles not only in terms of accuracy but also uncertainty calibration and robustness to dataset shift. Our further analysis and ablation studies provide evidence of higher ensemble diversity due to architectural variation, resulting in ensembles that can outperform deep ensembles, even when having weaker average base learners. To foster reproducibility, our code is available: \url{https://github.com/automl/nes}
• Abstract（参考訳）: ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 不確実性推定のための最先端手法である \emph{deep ensembles} は、 \emph{fixed} アーキテクチャのランダム初期化のみをアンサンブルする。 そこで本研究では,アンサンブルの多様性に対する個々のアーキテクチャの強みを暗黙的に取り除き,多様性の源泉としてアーキテクチャの変動を利用する2つの手法を提案する。 様々な分類タスクや近代的なアーキテクチャ探索空間において、結果として得られるアンサンブルは、精度だけでなく、データセットシフトに対する不確実なキャリブレーションやロバスト性にも優れることを示す。 我々のさらなる分析とアブレーション研究は、アーキテクチャの変動によるアンサンブルの多様性の向上の証拠となり、結果として、平均的学習者が弱い場合でも、より深いアンサンブルよりも優れたアンサンブルが生まれる。 再現性を促進するために、私たちのコードは、 \url{https://github.com/automl/nes} で利用可能です。

関連論文リスト

• Partially Stochastic Infinitely Deep Bayesian Neural Networks [0.0]
  無限深層ニューラルネットワークの枠組みに部分性を統合する新しいアーキテクチャ群を提案する。 完全性の利点を含む無限深度極限における部分性の利点を利用する。 ネットワーク設計における柔軟性を提供する、さまざまなアーキテクチャ構成を提示します。
  論文  参考訳（メタデータ） (2024-02-05T20:15:19Z)
• Exploring Model Learning Heterogeneity for Boosting Ensemble Robustness [17.127312781074245]
  ディープニューラルネットワークアンサンブルは、複雑な学習タスクの一般化性能を改善する可能性を秘めている。 本稿では,高いアンサンブル多様性を有するヘテロジニアス深層アンサンブルの形式解析と経験的評価について述べる。
  論文  参考訳（メタデータ） (2023-10-03T17:47:25Z)
• Bayesian Quadrature for Neural Ensemble Search [9.58527004004275]
  既存のアプローチは、アーキテクチャの可能性が分散し、狭いピークで苦労する。 アンサンブルを建築のほぼ辺境と見なすことにより、ベイズ四分法(Bayesian Quadrature)の道具を用いてアンサンブルを構築する。 テスト可能性、精度、予測キャリブレーション誤差の点で実証的に、我々の手法は最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-03-15T18:37:41Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• The robust way to stack and bag: the local Lipschitz way [13.203765985718201]
  我々は、ニューラルネットワークの局所的なリプシッツ定数と、その逆の堅牢性との関係を利用して、ニューラルネットワークのアンサンブルを構築する。 提案したアーキテクチャは,単一ネットワークや従来のアンサンブル方式よりも堅牢であることがわかった。
  論文  参考訳（メタデータ） (2022-06-01T14:15:12Z)
• Structurally Diverse Sampling Reduces Spurious Correlations in Semantic Parsing Datasets [51.095144091781734]
  本稿では,構造化された出力を持つラベル付きインスタンスプールから,構造的に多様なインスタンス群をサンプリングする新しいアルゴリズムを提案する。 提案アルゴリズムは, 合成テンプレート分割だけでなく, 従来のID分割においても, 従来のアルゴリズムよりも競合的に動作することを示す。 一般に、多種多様な列車集合は、10組のデータセット分割ペアのうち9組で同じ大きさのランダムな訓練集合よりも優れた一般化をもたらす。
  論文  参考訳（メタデータ） (2022-03-16T07:41:27Z)
• Adversarially Robust Neural Architectures [43.74185132684662]
  本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。 本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。 提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
  論文  参考訳（メタデータ） (2020-09-02T08:52:15Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。