論文の概要: Landscaping Linear Mode Connectivity

• arxiv url: http://arxiv.org/abs/2406.16300v1
• Date: Mon, 24 Jun 2024 03:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 16:13:09.860028
• Title: Landscaping Linear Mode Connectivity
• Title（参考訳）: ランドスケープリニアモード接続性
• Authors: Sidak Pal Singh, Linara Adilova, Michael Kamp, Asja Fischer, Bernhard Schölkopf, Thomas Hofmann,
• Abstract要約: 線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
• 参考スコア（独自算出の注目度）: 76.39694196535996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The presence of linear paths in parameter space between two different network solutions in certain cases, i.e., linear mode connectivity (LMC), has garnered interest from both theoretical and practical fronts. There has been significant research that either practically designs algorithms catered for connecting networks by adjusting for the permutation symmetries as well as some others that more theoretically construct paths through which networks can be connected. Yet, the core reasons for the occurrence of LMC, when in fact it does occur, in the highly non-convex loss landscapes of neural networks are far from clear. In this work, we take a step towards understanding it by providing a model of how the loss landscape needs to behave topographically for LMC (or the lack thereof) to manifest. Concretely, we present a `mountainside and ridge' perspective that helps to neatly tie together different geometric features that can be spotted in the loss landscape along the training runs. We also complement this perspective by providing a theoretical analysis of the barrier height, for which we provide empirical support, and which additionally extends as a faithful predictor of layer-wise LMC. We close with a toy example that provides further intuition on how barriers arise in the first place, all in all, showcasing the larger aim of the work -- to provide a working model of the landscape and its topography for the occurrence of LMC.
• Abstract（参考訳）: 線形モード接続(LMC)と呼ばれる、ある場合における2つの異なるネットワークソリューション間のパラメータ空間における線形経路の存在は、理論的および実用的両方の面から関心を集めている。 ネットワーク接続のためのアルゴリズムを実際に設計し、置換対称性を調整し、ネットワークを接続できる経路を理論的に構築する研究も行われている。 しかし、LMCの発生の主な理由は、実際に発生するとき、ニューラルネットワークの非常に非凸なロスランドスケープにおいて、明らかになっていないことである。 本研究では,ロスランドスケープがLCC(あるいはその欠如)のために地形的にどのように振る舞う必要があるかのモデルを提供することにより,その理解に向けて一歩前進する。 具体的には、トレーニングラン沿いの失われた風景で見られる様々な幾何学的特徴をきちんと結び付けるのに役立つ「山と尾根」の視点を示す。 また,バリア高さの理論的解析を行い,実証的支援を行い,レイヤーワイドLCCの忠実な予測因子として拡張することで,この視点を補完する。 われわれは、まず最初に、どのように障壁が生じるのかを直感的に示すおもちゃの例に近づき、LMCの発生のためのランドスケープとそのトポグラフィーの作業モデルを提供する。

関連論文リスト

• Exploring Neural Network Landscapes: Star-Shaped and Geodesic Connectivity [4.516746821973374]
  2つの典型的な大域的ミニマに対して、バリアなしでそれらを繋ぐ経路が存在することを示す。 有限個の典型的なミニマに対して、すべてのミニマ多様体を同時に接続するミニマ多様体の中心が存在する。 その結果,教師-学生構成下での線形ネットワークと2層ReLUネットワークに有効であることが確認できた。
  論文  参考訳（メタデータ） (2024-04-09T15:35:02Z)
• 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
  既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。 そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。 また,水平深度と比表現に適した教師なし適応手法を提案する。 本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
  論文  参考訳（メタデータ） (2023-12-26T12:16:03Z)
• Going Beyond Linear Mode Connectivity: The Layerwise Linear Feature Connectivity [62.11981948274508]
  LLFCの超越についての研究は,特徴学習の視点を取り入れることでLCCの理解を深める。 LLFCの総合的な実証的証拠として,2つの訓練ネットワークがLCCを満たす場合,ほぼすべての層でLLFCを満足することを示す。
  論文  参考訳（メタデータ） (2023-07-17T07:16:28Z)
• On the explainable properties of 1-Lipschitz Neural Networks: An Optimal Transport Perspective [0.0]
  従来のニューラルネットワークによって生成されたサリエンシマップは、しばしばノイズが多く、限られた洞察を提供する。 本稿では, 1-Lipschitz ニューラルネットワークのSaliency Maps が望ましいXAI特性を示すことを示す。 また、これらの地図は、ImageNet上の人間の説明と前例のないほどよく一致していることを示す。
  論文  参考訳（メタデータ） (2022-06-14T13:49:08Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)
• Sparsifying networks by traversing Geodesics [6.09170287691728]
  本稿では、幾何学のレンズを通してMLで解き放たれた疑問を視ることによって解決しようとする。 関数空間内の測地線を評価するための数学的枠組みを提案し、高密度ネットワークからスパーサーへの高性能経路を探索する。
  論文  参考訳（メタデータ） (2020-12-12T21:39:19Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。