Fugu-MT 論文翻訳(概要): The Role of Permutation Invariance in Linear Mode Connectivity of Neural Networks

論文の概要: The Role of Permutation Invariance in Linear Mode Connectivity of Neural Networks

arxiv url: http://arxiv.org/abs/2110.06296v1
Date: Tue, 12 Oct 2021 19:28:48 GMT
ステータス: 処理完了
システム内更新日: 2021-10-14 15:26:44.287149
Title: The Role of Permutation Invariance in Linear Mode Connectivity of Neural Networks
Title（参考訳）: ニューラルネットワークの線形モード接続における置換不変性の役割
Authors: Rahim Entezari, Hanie Sedghi, Olga Saukh, Behnam Neyshabur
Abstract要約: 我々は、広範囲にわたる経験的試みが、我々の予想に反論するに足りていないことを示す。我々の予想は、宝くじの仮説、分散トレーニング、アンサンブル手法に影響を及ぼす。
参考スコア（独自算出の注目度）: 25.24371443312889
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper, we conjecture that if the permutation invariance of neural networks is taken into account, SGD solutions will likely have no barrier in the linear interpolation between them. Although it is a bold conjecture, we show how extensive empirical attempts fall short of refuting it. We further provide a preliminary theoretical result to support our conjecture. Our conjecture has implications for lottery ticket hypothesis, distributed training, and ensemble methods.
Abstract（参考訳）: 本稿では、ニューラルネットワークの置換不変性を考慮に入れれば、SGD解はそれらの間の線形補間において障壁を持たないであろうと推測する。大胆な予想であるが、実験的な試みがいかに広範囲に及ばないかを示す。さらに,予想を裏付ける予備的な理論結果も提示する。我々の予想は、宝くじの仮説、分散トレーニング、アンサンブル手法に影響を及ぼす。

関連論文リスト

Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
論文参考訳（メタデータ） (2024-02-13T09:40:19Z)
Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
論文参考訳（メタデータ） (2023-07-07T09:49:11Z)
Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文参考訳（メタデータ） (2023-06-04T02:32:12Z)
Variational Bayesian Neural Networks via Resolution of Singularities [1.2183405753834562]
ベイズニューラルネットワーク(BNN)における変分推論の理論と実践に関連する特異学習理論(SLT)の重要性を提唱する。本研究では, 下流予測性能, テストログ予測密度, 変動目標との相違点を取り巻く混乱を補う。我々は,SLT補正形式を特異な後部分布に用いて,変分族自体の設計を知らせる。
論文参考訳（メタデータ） (2023-02-13T00:32:49Z)
Random initialisations performing above chance and how to find them [22.812660025650253]
Entezariらは最近、異なる初期化にもかかわらず、SGDが発見した解は、ニューラルネットワークの置換不変性を考慮して同じ損失谷にあると推測した。ここでは、そのような置換を見つけるために、単純だが強力なアルゴリズムを用いて、完全に接続されたネットワークにおいて仮説が真であるという直接的な実証的な証拠を得ることができる。 2つのネットワークは、初期化時に既に同じ損失谷に住んでおり、そのランダム性を平均化していますが、適切に置換された初期化は、かなり高い確率で実行されます。
論文参考訳（メタデータ） (2022-09-15T17:52:54Z)
Non-Linear Spectral Dimensionality Reduction Under Uncertainty [107.01839211235583]
我々は、不確実性情報を活用し、いくつかの従来のアプローチを直接拡張する、NGEUと呼ばれる新しい次元削減フレームワークを提案する。提案したNGEUの定式化は,大域的な閉形式解を示し,Radecherの複雑性に基づいて,基礎となる不確実性がフレームワークの一般化能力に理論的にどのように影響するかを分析する。
論文参考訳（メタデータ） (2022-02-09T19:01:33Z)
Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文参考訳（メタデータ） (2021-06-15T18:34:41Z)
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data [30.955325548635425]
単層ベイズニューラルネットワークにおける隠れ単位の数が無限大になる傾向があるため、平均場変動推論の下での関数空間後部平均が実際に0に収束することが証明された。これは、ガウス過程に収束する真の後影とは対照的である。
論文参考訳（メタデータ） (2021-06-13T17:36:38Z)
A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。 2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
論文参考訳（メタデータ） (2021-05-09T21:33:27Z)
Neural Networks for Learning Counterfactual G-Invariances from Single Environments [13.848760376470038]
ニューラルネットワークは、トレーニングデータ分布を超えて外挿する困難があると考えられています。この研究は、有限変換群に基づく外挿に対して、モデルが外挿できないことは、その能力とは無関係であることを示す。
論文参考訳（メタデータ） (2021-04-20T16:35:35Z)
Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文参考訳（メタデータ） (2021-04-13T12:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。