Fugu-MT 論文翻訳(概要): Emergent Equivariance in Deep Ensembles

論文の概要: Emergent Equivariance in Deep Ensembles

arxiv url: http://arxiv.org/abs/2403.03103v1
Date: Tue, 5 Mar 2024 16:43:25 GMT
ステータス: 処理完了
システム内更新日: 2024-03-06 14:11:44.705204
Title: Emergent Equivariance in Deep Ensembles
Title（参考訳）: 深層集合における創発的等価性
Authors: Jan E. Gerken and Pan Kessel
Abstract要約: 深層アンサンブルは、データ拡張を用いることで、全ての入力とあらゆる訓練時間に等しくなることを示す。これは、個々のアンサンブルメンバーの予測が同変ではなく、集合的予測であるという意味で創発的である。
参考スコア（独自算出の注目度）: 3.1520418372484404
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We demonstrate that deep ensembles are secretly equivariant models. More precisely, we show that deep ensembles become equivariant for all inputs and at all training times by simply using data augmentation. Crucially, equivariance holds off-manifold and for any architecture in the infinite width limit. The equivariance is emergent in the sense that predictions of individual ensemble members are not equivariant but their collective prediction is. Neural tangent kernel theory is used to derive this result and we verify our theoretical insights using detailed numerical experiments.
Abstract（参考訳）: 深層アンサンブルが密かに同値なモデルであることを示す。より正確には、深層アンサンブルがデータ拡張を用いて、すべての入力およびトレーニング時間に対して同値になることを示す。重要な点として、等分散はオフ多様体と無限幅極限内の任意のアーキテクチャを保持する。等分散は、個々のアンサンブルメンバーの予測が同値ではないが集団的予測であるという意味で生じる。神経接核理論は、この結果の導出に用いられ、詳細な数値実験を用いて理論的知見の検証を行う。

関連論文リスト

It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
論文参考訳（メタデータ） (2023-10-13T17:06:34Z)
Investigating how ReLU-networks encode symmetries [13.935148870831396]
ネットワークの等式がすべての層が等式であることを示すかどうかを考察する。等変で訓練されたCNNは階層的に等変を示すと推測する。 2つの異なるネットワークをマージするよりも、ネットワークとグループ変換されたバージョンをマージすることが通常容易であることを示す。
論文参考訳（メタデータ） (2023-05-26T15:23:20Z)
Malign Overfitting: Interpolation Can Provably Preclude Invariance [30.776243638012314]
補間にもかかわらずモデルを適切に一般化する「良性過剰適合」は、堅牢性や公正性が望ましい設定に好ましくない可能性があることを示す。本研究では,非補間型分類器の確率的不変性を学習するアルゴリズムを提案し,解析する。
論文参考訳（メタデータ） (2022-11-28T19:17:31Z)
On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。不変性はデータの変換におけるモデル予測の一貫性を測定する。データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文参考訳（メタデータ） (2022-07-14T17:08:25Z)
Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文参考訳（メタデータ） (2022-04-07T17:59:19Z)
Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
入力毎に複数の拡張を使用すれば、一般化が向上することを示す。本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
論文参考訳（メタデータ） (2022-03-07T11:25:45Z)
Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition [39.108491135488286]
テストのリスクをバイアスと分散コンポーネントに分解します。バイアスは摂動の大きさとともに単調に増加し、リスクの主要な用語であることがわかった。一般化ギャップに対する一般的な説明は、代わりに分散が単調であることを予測している。
論文参考訳（メタデータ） (2021-03-17T23:30:00Z)
Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文参考訳（メタデータ） (2020-10-22T17:18:48Z)
What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
論文参考訳（メタデータ） (2020-10-11T05:21:13Z)
Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
論文参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。