論文の概要: Do Deep Neural Network Solutions Form a Star Domain?
- arxiv url: http://arxiv.org/abs/2403.07968v1
- Date: Tue, 12 Mar 2024 13:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 16:55:05.303398
- Title: Do Deep Neural Network Solutions Form a Star Domain?
- Title(参考訳): ディープニューラルネットワークはスタードメインを形成するか?
- Authors: Ankit Sonthalia, Alexander Rubinstein, Ehsan Abbasnejad, Seong Joon Oh
- Abstract要約: Entezari et al. (2022) は、ニューラルネットワークの解集合が勾配降下(SGD)を介して到達可能であると推測した。
本稿では,与えられた学習課題のスターモデルを求めるスターライトアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 73.66965283134626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Entezari et al. (2022) conjectured that neural network solution sets
reachable via stochastic gradient descent (SGD) are convex, considering
permutation invariances. This means that two independent solutions can be
connected by a linear path with low loss, given one of them is appropriately
permuted. However, current methods to test this theory often fail to eliminate
loss barriers between two independent solutions (Ainsworth et al., 2022;
Benzing et al., 2022). In this work, we conjecture that a more relaxed claim
holds: the SGD solution set is a star domain that contains a star model that is
linearly connected to all the other solutions via paths with low loss values,
modulo permutations. We propose the Starlight algorithm that finds a star model
of a given learning task. We validate our claim by showing that this star model
is linearly connected with other independently found solutions. As an
additional benefit of our study, we demonstrate better uncertainty estimates on
Bayesian Model Averaging over the obtained star domain. Code is available at
https://github.com/aktsonthalia/starlight.
- Abstract(参考訳): Entezari et al (2022) は、確率勾配降下(SGD)を介して到達可能なニューラルネットワーク解集合は、置換不変性を考慮して凸であると予想した。
これは、2つの独立解が低損失の線型経路で接続できることを意味する。
しかし、この理論をテストする現在の方法は、2つの独立解(Ainsworth et al , 2022; Benzing et al , 2022)の間の損失障壁を排除できないことが多い。
この研究において、より緩和された主張が成り立つ: SGD 解集合は、低損失値の経路、モジュロ置換によって他のすべての解に線型に接続されたスターモデルを含むスター領域である。
本稿では,与えられた学習課題のスターモデルを求めるスターライトアルゴリズムを提案する。
我々は、この星モデルが他の独立に発見された解と線形に結びついていることを示すことによって、我々の主張を検証する。
この研究のさらなる利点として、得られた恒星領域に対するベイズモデル平均値に関するより良い不確実性の推定を実証する。
コードはhttps://github.com/aktsonthalia/starlight.comから入手できる。
関連論文リスト
- On permutation symmetries in Bayesian neural network posteriors: a
variational perspective [8.310462710943971]
勾配降下の局所解には本質的に損失障壁がないことを示す。
これにより、ベイズニューラルネットワークにおける近似推論に関する疑問が提起される。
線形接続された解を探索するマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-16T08:26:50Z) - Learning from Integral Losses in Physics Informed Neural Networks [2.810395925934944]
本研究では,部分積分微分方程式の下での物理情報ネットワークのトレーニング問題に対する解を提案する。
これらの積分を偏りのない推定値に置き換えることで、偏りのある損失関数や解が導かれることを示す。
また,提案手法が提案されたことにより,多数のサンプルから推定した値に匹敵する精度で精度の高い解が得られることを示す。
論文 参考訳(メタデータ) (2023-05-27T06:46:08Z) - Typical and atypical solutions in non-convex neural networks with
discrete and continuous weights [2.7127628066830414]
ランダムな規則や関連を学習する単純な非拘束型ネットワークモデルとして、二項および連続負マージンパーセプトロンについて検討する。
どちらのモデルも、非常に平坦で幅の広い劣支配的な最小化器を示す。
両モデルにおいて、学習装置としての一般化性能は、広い平坦な最小化器の存在により大幅に向上することを示した。
論文 参考訳(メタデータ) (2023-04-26T23:34:40Z) - The Franke-Gorini-Kossakowski-Lindblad-Sudarshan (FGKLS) Equation for
Two-Dimensional Systems [62.997667081978825]
開量子系は、FGKLS(Franke-Gorini-Kossakowski-Lindblad-Sudarshan)方程式に従うことができる。
我々はヒルベルト空間次元が 2$ である場合を徹底的に研究する。
論文 参考訳(メタデータ) (2022-04-16T07:03:54Z) - Improved Training of Physics-Informed Neural Networks with Model
Ensembles [81.38804205212425]
我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。
すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。
提案手法は, 得られた解の精度を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-04-11T14:05:34Z) - Feature Cross Search via Submodular Optimization [58.15569071608769]
機能工学の基本的な基礎として機能横断探索について研究する。
この問題に対して単純なgreedy $(1-1/e)$-approximationアルゴリズムが存在することを示す。
論文 参考訳(メタデータ) (2021-07-05T16:58:31Z) - How to Explain Neural Networks: A perspective of data space division [2.4499092754102874]
ディープラーニングで表されるアルゴリズムの解釈可能性はまだオープンな問題です。
本稿では,説明の2つの属性に基づく既存の説明可能な手法の欠点について論じる。
本稿では,データ空間分割の観点から,完全局所解釈可能なモデル非依存説明法(CLIMEP)の原理を提案する。
論文 参考訳(メタデータ) (2021-05-17T13:43:37Z) - Hardness of Random Optimization Problems for Boolean Circuits,
Low-Degree Polynomials, and Langevin Dynamics [78.46689176407936]
アルゴリズムの族は高い確率でほぼ最適な解を生成できないことを示す。
ブール回路の場合、回路複雑性理論で知られている最先端境界を改善する。
論文 参考訳(メタデータ) (2020-04-25T05:45:59Z) - Private Learning of Halfspaces: Simplifying the Construction and
Reducing the Sample Complexity [63.29100726064574]
有限格子上の半空間に対して微分プライベート学習器を$mathbbRd$で$G$で、サンプル複雑性を$approx d2.5cdot 2log*|G|$で表す。
学習者のためのビルディングブロックは、線形実現可能性問題を解くために、微分プライベートな新しいアルゴリズムである。
論文 参考訳(メタデータ) (2020-04-16T16:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。