論文の概要: Bayesian Quadrature for Neural Ensemble Search

• arxiv url: http://arxiv.org/abs/2303.08874v1
• Date: Wed, 15 Mar 2023 18:37:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 18:17:47.861948
• Title: Bayesian Quadrature for Neural Ensemble Search
• Title（参考訳）: ニューラルアンサンブル探索のためのベイズ二次
• Authors: Saad Hamid, Xingchen Wan, Martin J{\o}rgensen, Binxin Ru, Michael Osborne
• Abstract要約: 既存のアプローチは、アーキテクチャの可能性が分散し、狭いピークで苦労する。 アンサンブルを建築のほぼ辺境と見なすことにより、ベイズ四分法(Bayesian Quadrature)の道具を用いてアンサンブルを構築する。 テスト可能性、精度、予測キャリブレーション誤差の点で実証的に、我々の手法は最先端のベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 9.58527004004275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembling can improve the performance of Neural Networks, but existing approaches struggle when the architecture likelihood surface has dispersed, narrow peaks. Furthermore, existing methods construct equally weighted ensembles, and this is likely to be vulnerable to the failure modes of the weaker architectures. By viewing ensembling as approximately marginalising over architectures we construct ensembles using the tools of Bayesian Quadrature -- tools which are well suited to the exploration of likelihood surfaces with dispersed, narrow peaks. Additionally, the resulting ensembles consist of architectures weighted commensurate with their performance. We show empirically -- in terms of test likelihood, accuracy, and expected calibration error -- that our method outperforms state-of-the-art baselines, and verify via ablation studies that its components do so independently.
• Abstract（参考訳）: 組立はニューラルネットワークの性能を向上させることができるが、既存のアプローチはアーキテクチャの可能性が分散し、ピークが狭くなると困難である。 さらに、既存の手法は等しく重み付けされたアンサンブルを構築しており、弱いアーキテクチャの障害モードに対して脆弱である可能性が高い。 センセーブリングを概ねアーキテクチャ上の限界と見なすことで、分散した狭いピークを持つ可能性曲面の探索に適したベイズ二次ツールを用いてアンサンブルを構築する。 さらに、結果として生じるアンサンブルは、そのパフォーマンスに相応しい重み付けのアーキテクチャで構成されている。 実験結果から,本手法が最先端のベースラインよりも優れていることを示すとともに,そのコンポーネントが独立に動作することをアブレーション実験により検証する。

関連論文リスト

• Distributionally Robust Fair Principal Components via Geodesic Descents [16.440434996206623]
  大学入学、医療、信用承認などのその後の領域では、学習予測の公正性や堅牢性といった新たな基準を考慮に入れることが不可欠である。 本稿では,主成分分析のための分布的ロバストな最適化問題を提案する。 実世界のデータセットに対する実験結果から,提案手法が最先端のベースラインに対して有益であることを示す。
  論文  参考訳（メタデータ） (2022-02-07T11:08:13Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)
• On the Effectiveness of Mode Exploration in Bayesian Model Averaging for Neural Networks [1.3960152426268768]
  重み空間の局所領域を,ブライアスコア,精度,キャリブレーション誤差に対して探索するいくつかの簡単な手法について検討した。 個別モードの追加は性能を均一に向上させるが、ここで考慮した単純なモード探索法は、モード探索なしでのアンサンブルよりもほとんど、あるいは全く改善しないことを示す。
  論文  参考訳（メタデータ） (2021-12-07T15:39:37Z)
• Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification [8.976788958300766]
  本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。 十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。 我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
  論文  参考訳（メタデータ） (2020-09-11T11:22:22Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
  局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。 パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。 適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
  論文  参考訳（メタデータ） (2020-03-03T15:20:57Z)
• Almost-Matching-Exactly for Treatment Effect Estimation under Network Interference [73.23326654892963]
  本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。 本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
  論文  参考訳（メタデータ） (2020-03-02T15:21:20Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。