論文の概要: Robustness of Epinets against Distributional Shifts

• arxiv url: http://arxiv.org/abs/2207.00137v1
• Date: Fri, 1 Jul 2022 01:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 13:46:21.550383
• Title: Robustness of Epinets against Distributional Shifts
• Title（参考訳）: 分布シフトに対するエピネットのロバスト性
• Authors: Xiuyuan Lu, Ian Osband, Seyed Mohammad Asghari, Sven Gowal, Vikranth Dwaracherla, Zheng Wen, Benjamin Van Roy
• Abstract要約: エピネット(英: epinet)は、従来のニューラルネットワークに追加された小さなニューラルネットワークである。 ImageNet-A/O/C全体で、エピネットは一般的にロバストネスの指標を改善している。 これらの改善は、分散的破壊的なディープラーニングにおける際立った問題と比較して、比較的小さい。
• 参考スコア（独自算出の注目度）: 34.43858684540488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work introduced the epinet as a new approach to uncertainty modeling in deep learning. An epinet is a small neural network added to traditional neural networks, which, together, can produce predictive distributions. In particular, using an epinet can greatly improve the quality of joint predictions across multiple inputs, a measure of how well a neural network knows what it does not know. In this paper, we examine whether epinets can offer similar advantages under distributional shifts. We find that, across ImageNet-A/O/C, epinets generally improve robustness metrics. Moreover, these improvements are more significant than those afforded by even very large ensembles at orders of magnitude lower computational costs. However, these improvements are relatively small compared to the outstanding issues in distributionally-robust deep learning. Epinets may be a useful tool in the toolbox, but they are far from the complete solution.
• Abstract（参考訳）: 最近の研究は、ディープラーニングにおける不確実性モデリングに対する新しいアプローチとしてエピネットを導入した。 epinetは、従来のニューラルネットワークに加えられた小さなニューラルネットワークであり、一緒に予測分布を生成することができる。 特に、エピネットを使用することで、複数の入力間での関節予測の品質を大幅に向上させることができる。 本稿では,分布シフトの下で,エピネットが同様の利点を提供できるかどうかを検討する。 ImageNet-A/O/C全体で、エピネットは一般的にロバストネスの指標を改善する。 さらに、これらの改善は、非常に大きなアンサンブルでも計算コストが桁違いに低いものよりも重要である。 しかし,分布的ロバスト深層学習の問題点に比べれば,これらの改善は少ない。 Epinetsはツールボックスで便利なツールかもしれませんが、完全なソリューションには程遠いものです。

関連論文リスト

• Variational Learning is Effective for Large Deep Networks [76.94351631300788]
  改良された変分オンラインニュートンは、大規模ネットワークのトレーニングにおいて、Adamと一貫して一致し、より優れていることを示す。 IVONの計算コストはAdamとほぼ同じであるが、予測の不確実性の方が優れている。 変分学習が効果的であるという圧倒的な証拠を見出す。
  論文  参考訳（メタデータ） (2024-02-27T16:11:05Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
  行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。 本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-18T05:39:32Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Fine-Tuning Language Models via Epistemic Neural Networks [17.92941914728862]
  情報的トレーニングデータを優先順位付けできるならば、ラベルを減らしながらパフォーマンスを向上できることが示されます。 エピネットを使用して不確実なデータを優先順位付けし、GLUEタスク上のBERTを、優先順位付けなしでトレーニングよりも2倍少ないデータを使用しながら、同じパフォーマンスに微調整することができる。
  論文  参考訳（メタデータ） (2022-11-03T03:24:46Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Epistemic Neural Networks [25.762699400341972]
  原則として、アンサンブルに基づくアプローチは効果的な共同予測をもたらす。 しかし、大規模なアンサンブルを訓練する際の計算コストは禁じられる可能性がある。 従来のニューラルネットワークを補完するアーキテクチャであるEpinetを紹介します。
  論文  参考訳（メタデータ） (2021-07-19T14:37:57Z)
• The Yin-Yang dataset [0.0]
  Yin-Yangデータセットは、スパイキングニューラルネットワークにおける生物学的に妥当なエラーバックプロパゲーションとディープラーニングの研究のために開発された。 これは、いくつかの利点を提供することで、古典的なディープラーニングデータセットに代わる役割を果たします。
  論文  参考訳（メタデータ） (2021-02-16T15:18:05Z)
• Consistent feature selection for neural networks via Adaptive Group Lasso [3.42658286826597]
  ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。 具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
  論文  参考訳（メタデータ） (2020-05-30T18:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。