論文の概要: Bayesian Quadrature for Neural Ensemble Search

• arxiv url: http://arxiv.org/abs/2303.08874v2
• Date: Fri, 17 Mar 2023 16:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-20 11:04:04.984572
• Title: Bayesian Quadrature for Neural Ensemble Search
• Title（参考訳）: ニューラルアンサンブル探索のためのベイズ二次
• Authors: Saad Hamid, Xingchen Wan, Martin J{\o}rgensen, Binxin Ru, Michael Osborne
• Abstract要約: 既存のアプローチは、アーキテクチャの可能性が分散し、狭いピークで苦労する。 アンサンブルを建築のほぼ辺境と見なすことにより、ベイズ四分法(Bayesian Quadrature)の道具を用いてアンサンブルを構築する。 テスト可能性、精度、予測キャリブレーション誤差の点で実証的に、我々の手法は最先端のベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 9.58527004004275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembling can improve the performance of Neural Networks, but existing approaches struggle when the architecture likelihood surface has dispersed, narrow peaks. Furthermore, existing methods construct equally weighted ensembles, and this is likely to be vulnerable to the failure modes of the weaker architectures. By viewing ensembling as approximately marginalising over architectures we construct ensembles using the tools of Bayesian Quadrature -- tools which are well suited to the exploration of likelihood surfaces with dispersed, narrow peaks. Additionally, the resulting ensembles consist of architectures weighted commensurate with their performance. We show empirically -- in terms of test likelihood, accuracy, and expected calibration error -- that our method outperforms state-of-the-art baselines, and verify via ablation studies that its components do so independently.
• Abstract（参考訳）: 組立はニューラルネットワークの性能を向上させることができるが、既存のアプローチはアーキテクチャの可能性が分散し、ピークが狭くなると困難である。 さらに、既存の手法は等しく重み付けされたアンサンブルを構築しており、弱いアーキテクチャの障害モードに対して脆弱である可能性が高い。 センセーブリングを概ねアーキテクチャ上の限界と見なすことで、分散した狭いピークを持つ可能性曲面の探索に適したベイズ二次ツールを用いてアンサンブルを構築する。 さらに、結果として生じるアンサンブルは、そのパフォーマンスに相応しい重み付けのアーキテクチャで構成されている。 実験結果から,本手法が最先端のベースラインよりも優れていることを示すとともに,そのコンポーネントが独立に動作することをアブレーション実験により検証する。

関連論文リスト

• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision [51.88848982611515]
  教師なしグラフニューラルアーキテクチャサーチは、文献では未発見のままである。 本稿では,Distangled Self-supervised Graph Neural Architecture Searchモデルを提案する。 我々のモデルは、教師なしの方法で、いくつかのベースライン手法に対して最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-03-08T05:23:55Z)
• Pushing Boundaries: Mixup's Influence on Neural Collapse [3.6919724596215615]
  Mixupは、深層ニューラルネットワークの堅牢性とキャリブレーションを強化するために、トレーニングインスタンスと各ラベルの凸結合を利用するデータ拡張戦略である。 本研究では,ミックスアップを受ける深層ネットワークにおけるトレーニングデータの最終層活性化について検討した。 ここでは,Mixupの最終層活性化が,期待と異なる独特の構成に主に収束していることを示す。
  論文  参考訳（メタデータ） (2024-02-09T04:01:25Z)
• Revisiting Generative Adversarial Networks for Binary Semantic Segmentation on Imbalanced Datasets [20.538287907723713]
  異常き裂領域検出は典型的なバイナリセマンティックセグメンテーションタスクであり、アルゴリズムによって舗装面画像上のひび割れを表す画素を自動的に検出することを目的としている。 既存のディープラーニングベースの手法は、特定の公共舗装のデータセットで優れた結果を得たが、不均衡なデータセットでは性能が劇的に低下する。 画素レベルの異常き裂領域検出タスクに対して,条件付き生成逆ネットワーク(cGAN)に基づくディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-03T19:24:40Z)
• Distributionally Robust Fair Principal Components via Geodesic Descents [16.440434996206623]
  大学入学、医療、信用承認などのその後の領域では、学習予測の公正性や堅牢性といった新たな基準を考慮に入れることが不可欠である。 本稿では,主成分分析のための分布的ロバストな最適化問題を提案する。 実世界のデータセットに対する実験結果から,提案手法が最先端のベースラインに対して有益であることを示す。
  論文  参考訳（メタデータ） (2022-02-07T11:08:13Z)
• Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification [8.976788958300766]
  本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。 十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。 我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
  論文  参考訳（メタデータ） (2020-09-11T11:22:22Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
  局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。 パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。 適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
  論文  参考訳（メタデータ） (2020-03-03T15:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。