論文の概要: Unified Probabilistic Neural Architecture and Weight Ensembling Improves Model Robustness

• arxiv url: http://arxiv.org/abs/2210.04083v1
• Date: Sat, 8 Oct 2022 18:30:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 15:06:36.195702
• Title: Unified Probabilistic Neural Architecture and Weight Ensembling Improves Model Robustness
• Title（参考訳）: モデルロバスト性を改善する統合確率的ニューラルネットワークと重みセンシング
• Authors: Sumegha Premchandar, Sandeep Madireddy, Sanket Jantre, Prasanna Balaprakash
• Abstract要約: 統一確率的アーキテクチャと重み付けニューラルアーキテクチャサーチ(UraeNAS)を提案する。 提案手法は, 分布内(0.86%の精度)と分布外(2.43%の精度)で有意な改善を示した。
• 参考スコア（独自算出の注目度）: 3.6607006319608226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust machine learning models with accurately calibrated uncertainties are crucial for safety-critical applications. Probabilistic machine learning and especially the Bayesian formalism provide a systematic framework to incorporate robustness through the distributional estimates and reason about uncertainty. Recent works have shown that approximate inference approaches that take the weight space uncertainty of neural networks to generate ensemble prediction are the state-of-the-art. However, architecture choices have mostly been ad hoc, which essentially ignores the epistemic uncertainty from the architecture space. To this end, we propose a Unified probabilistic architecture and weight ensembling Neural Architecture Search (UraeNAS) that leverages advances in probabilistic neural architecture search and approximate Bayesian inference to generate ensembles form the joint distribution of neural network architectures and weights. The proposed approach showed a significant improvement both with in-distribution (0.86% in accuracy, 42% in ECE) CIFAR-10 and out-of-distribution (2.43% in accuracy, 30% in ECE) CIFAR-10-C compared to the baseline deterministic approach.
• Abstract（参考訳）: 安全クリティカルなアプリケーションには、正確な不確かさを校正した堅牢な機械学習モデルが不可欠である。 確率的機械学習、特にベイズ形式主義は、分布的推定と不確実性に関する推論を通じてロバスト性を取り入れた体系的枠組みを提供する。 近年の研究では、ニューラルネットワークの重み空間の不確実性を利用してアンサンブル予測を生成する近似推論アプローチが最先端であることが示されている。 しかし、アーキテクチャの選択は主にアドホックであり、アーキテクチャ空間からの認識の不確実性を無視している。 そこで本研究では,確率的ニューラルネットワーク探索と近似ベイズ推定の進歩を活かし,ニューラルネットワークアーキテクチャと重みの結合分布を形成するアンサンブルを生成する,統一確率的アーキテクチャと重みセンシングニューラルアーキテクチャ探索(uraenas)を提案する。 提案手法は, CIFAR-10の分布内分布(精度0.86%, ECE 42%)と, CIFAR-10-Cの分布外分布(精度2.43%, ECE 30%)を基本決定論的アプローチと比較して有意な改善を示した。

関連論文リスト

• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations [0.22499166814992438]
  インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。 実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
  論文  参考訳（メタデータ） (2024-01-23T00:27:31Z)
• Neural Architecture Design and Robustness: A Dataset [11.83842808044211]
  ニューラルアーキテクチャ設計とロバストネス評価に関するデータベースを導入する。 我々は、これらのネットワークを、様々な共通の敵攻撃や汚職タイプで評価する。 ネットワークのトポロジを慎重に構築することは、その堅牢性に大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2023-06-11T16:02:14Z)
• Variational Inference for Bayesian Neural Networks under Model and Parameter Uncertainty [12.211659310564425]
  BNNにおける構造学習の枠組みとしてモデル不確実性の概念を適用した。 本稿では,限界包摂確率の再パラメータ化による拡張性のある変分推論手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T16:38:17Z)
• Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles [0.8258451067861933]
  本稿では,ディープニューラルネットワーク(DNN)の自動検出手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。 提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。 本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-20T03:57:06Z)
• A Benchmark on Uncertainty Quantification for Deep Learning Prognostics [0.0]
  診断学的な深層学習のための不確実性定量化の分野における最新の発展のいくつかを評価する。 これには、ベイズニューラルネットワーク(BNN)の最先端の変分推論アルゴリズムや、モンテカルロ・ドロップアウト(MCD)、ディープアンサンブル(DE)、ヘテロセダスティックニューラルネットワーク(HNN)などの一般的な代替品が含まれる。 この手法の性能は、NASA NCMAPSSの航空機エンジン用データセットのサブセットで評価される。
  論文  参考訳（メタデータ） (2023-02-09T16:12:47Z)
• PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
  高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。 我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。 提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-28T17:56:41Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。