論文の概要: Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry

• arxiv url: http://arxiv.org/abs/2202.03038v1
• Date: Mon, 7 Feb 2022 09:57:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 18:16:40.575756
• Title: Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry
• Title（参考訳）: トロイドの深部ネットワーク:景観幾何学における平坦領域の構造を明らかにする対称性の除去
• Authors: Fabrizio Pittorino, Antonio Ferraro, Gabriele Perugini, Christoph Feinauer, Carlo Baldassi, Riccardo Zecchina
• Abstract要約: 我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
• 参考スコア（独自算出の注目度）: 3.712728573432119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We systematize the approach to the investigation of deep neural network landscapes by basing it on the geometry of the space of implemented functions rather than the space of parameters. Grouping classifiers into equivalence classes, we develop a standardized parameterization in which all symmetries are removed, resulting in a toroidal topology. On this space, we explore the error landscape rather than the loss. This lets us derive a meaningful notion of the flatness of minimizers and of the geodesic paths connecting them. Using different optimization algorithms that sample minimizers with different flatness we study the mode connectivity and other characteristics. Testing a variety of state-of-the-art architectures and benchmark datasets, we confirm the correlation between flatness and generalization performance; we further show that in function space flatter minima are closer to each other and that the barriers along the geodesics connecting them are small. We also find that minimizers found by variants of gradient descent can be connected by zero-error paths with a single bend. We observe similar qualitative results in neural networks with binary weights and activations, providing one of the first results concerning the connectivity in this setting. Our results hinge on symmetry removal, and are in remarkable agreement with the rich phenomenology described by some recent analytical studies performed on simple shallow models.
• Abstract（参考訳）: 我々は、パラメータの空間ではなく、実装関数の空間の幾何学に基づいて、ディープニューラルネットワークのランドスケープを調査するアプローチを体系化する。 分類器を同値類に分類し、すべての対称性を除去する標準パラメータ化を開発し、トロイダルトポロジーをもたらす。 この領域では、損失よりもエラーの状況を調査します。 これにより、最小化子の平坦性とそれらをつなぐ測地線経路の有意義な概念を導出することができる。 異なる平坦度を持つ最小化器をサンプリングする異なる最適化アルゴリズムを用いて、モード接続性および他の特性について検討する。 様々な最先端アーキテクチャとベンチマークデータセットを検証し、平坦性と一般化性能の相関性を確認し、関数空間の平坦度最小値が互いに近いことと、それらと接続する測地線に沿った障壁が小さいことを明らかにする。 また、勾配降下の変種によって見つかる最小化子は、単一の曲がり角を持つゼロエラーパスによって接続できることがわかった。 二元重みとアクティベーションを持つニューラルネットワークにおける同様の質的結果を観察し、この設定における接続性に関する最初の結果の1つを提供する。 その結果, 単純な浅層モデルを用いて行った最近の解析研究では, 対称性の除去に重きを置き, リッチな現象学と顕著な一致を示した。

関連論文リスト

• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• A simple connection from loss flatness to compressed representations in neural networks [3.5502600490147196]
  ディープニューラルネットワークにおける学習の最終段階において、ニューラルネットワークの多様体の圧縮は、SGDが探索したミニマのまわりの損失の平坦さと相関することを示す。 我々の研究はMaとYingによる線形安定性の洞察に基づいており、様々な圧縮測定値と鋭さを含む量の不等式を導出する。
  論文  参考訳（メタデータ） (2023-10-03T03:36:29Z)
• Typical and atypical solutions in non-convex neural networks with discrete and continuous weights [2.7127628066830414]
  ランダムな規則や関連を学習する単純な非拘束型ネットワークモデルとして、二項および連続負マージンパーセプトロンについて検討する。 どちらのモデルも、非常に平坦で幅の広い劣支配的な最小化器を示す。 両モデルにおいて、学習装置としての一般化性能は、広い平坦な最小化器の存在により大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-04-26T23:34:40Z)
• Symmetries, flat minima, and the conserved quantities of gradient flow [20.12938444246729]
  パラメータ空間における連続対称性を見つけるための枠組みについて述べる。 この枠組みを非線形ニューラルネットワークに一般化するために,非線形・データ依存対称性の新たな集合を導入する。
  論文  参考訳（メタデータ） (2022-10-31T10:55:30Z)
• Annihilation of Spurious Minima in Two-Layer ReLU Networks [9.695960412426672]
  正方形損失に対する2層ReLUニューラルネットワークの適合に関する最適化問題について検討する。 ニューロンを追加することで、対称的な刺激性のミニマをサドルに変えることができる。 また、損失関数の対称性構造から生じるある種の部分空間における降下方向の存在を証明した。
  論文  参考訳（メタデータ） (2022-10-12T11:04:21Z)
• Minimal Neural Atlas: Parameterizing Complex Surfaces with Minimal Charts and Distortion [71.52576837870166]
  我々は、新しいアトラスに基づく明示的なニューラルサーフェス表現であるミニマルニューラルアトラスを提案する。 その中核は完全学習可能なパラメトリック領域であり、パラメトリック空間の開平方上で定義された暗黙の確率的占有場によって与えられる。 我々の再構成は、トポロジーと幾何学に関する懸念の分離のため、全体的な幾何学の観点からより正確である。
  論文  参考訳（メタデータ） (2022-07-29T16:55:06Z)
• Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
  微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。 テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。 我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
  論文  参考訳（メタデータ） (2022-05-24T23:43:02Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。