論文の概要: Environment Diversification with Multi-head Neural Network for Invariant Learning

• arxiv url: http://arxiv.org/abs/2308.08778v1
• Date: Thu, 17 Aug 2023 04:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 17:53:34.047754
• Title: Environment Diversification with Multi-head Neural Network for Invariant Learning
• Title（参考訳）: 不変学習のためのマルチヘッドニューラルネットワークによる環境多様化
• Authors: Bo-Wei Huang, Keng-Te Liao, Chang-Sheng Kao, Shou-De Lin
• Abstract要約: この研究は、データバイアスを吸収するマルチヘッドニューラルネットワークを含む不変学習フレームワークEDNILを提案する。 このフレームワークは環境に関する事前の知識や事前訓練されたモデルに関する強い仮定を必要としないことを示す。 EDNILでトレーニングされたモデルは、分布シフトに対して実験的に堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 7.255121332331688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are often trained with empirical risk minimization; however, it has been shown that a shift between training and testing distributions can cause unpredictable performance degradation. On this issue, a research direction, invariant learning, has been proposed to extract invariant features insensitive to the distributional changes. This work proposes EDNIL, an invariant learning framework containing a multi-head neural network to absorb data biases. We show that this framework does not require prior knowledge about environments or strong assumptions about the pre-trained model. We also reveal that the proposed algorithm has theoretical connections to recent studies discussing properties of variant and invariant features. Finally, we demonstrate that models trained with EDNIL are empirically more robust against distributional shifts.
• Abstract（参考訳）: ニューラルネットワークは経験的リスク最小化でトレーニングされることが多いが、トレーニングとテストディストリビューションのシフトが予測不可能なパフォーマンス劣化を引き起こすことが示されている。 本論では,分布変化に敏感な不変特徴を抽出するために,不変学習という研究方向が提案されている。 この研究は、データバイアスを吸収するマルチヘッドニューラルネットワークを含む不変学習フレームワークEDNILを提案する。 このフレームワークは環境に関する事前の知識や事前訓練されたモデルに関する強い仮定を必要としない。 また,提案アルゴリズムは,変分および不変量の特性を論じる最近の研究と理論的に関係があることも明らかにした。 最後に、EDNILでトレーニングされたモデルは、分布シフトに対して実験的に堅牢であることを示す。

関連論文リスト

• A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties [0.31457219084519006]
  異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。 軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T13:24:43Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Sufficient Invariant Learning for Distribution Shift [20.88069274935592]
  本稿では,SIL(Sufficient Invariant Learning)フレームワークという新しい学習原理を紹介する。 SILは、単一の機能に頼るのではなく、不変機能の十分なサブセットを学ぶことに重点を置いている。 本稿では,適応シャープネスを意識したグループ分散ロバスト最適化(ASGDRO)を提案する。
  論文  参考訳（メタデータ） (2022-10-24T18:34:24Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Single Model Uncertainty Estimation via Stochastic Data Centering [39.71621297447397]
  私たちは、ディープニューラルネットワークの不確実性を見積もることに興味があります。 我々は、一定のバイアスによってシフトしたデータセットに基づいてトレーニングされた、同じ重み付きニューラルネットワークのアンサンブルが、わずかに一貫性のないトレーニングモデルを引き起こすという驚くべき新しい発見を提示する。 我々は、$Delta-$UQの不確実性推定が、様々なベンチマークにおける現在の多くの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-14T23:54:54Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Learning Invariant Weights in Neural Networks [16.127299898156203]
  機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
  論文  参考訳（メタデータ） (2022-02-25T00:17:09Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。