論文の概要: Connecting Independently Trained Modes via Layer-Wise Connectivity
- arxiv url: http://arxiv.org/abs/2505.02604v4
- Date: Mon, 22 Sep 2025 18:57:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 16:16:25.613879
- Title: Connecting Independently Trained Modes via Layer-Wise Connectivity
- Title（参考訳）: レイヤワイズ接続による独立学習モードの接続
- Authors: Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee,
- Abstract要約: 本稿では,従来のアーキテクチャを超越して一般化した,独立に訓練されたモードを接続するための新しい経験的アルゴリズムを提案する。
より広い適用性に加えて、提案手法は、独立に訓練されたモードペア間でより一貫した接続経路を得る。
- 参考スコア（独自算出の注目度）: 0.4094848360328623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical and theoretical studies have shown that continuous low-loss paths can be constructed between independently trained neural network models. This phenomenon, known as mode connectivity, refers to the existence of such paths between distinct modes-i.e., well-trained solutions in parameter space. However, existing empirical methods are primarily effective for older and relatively simple architectures such as basic CNNs, VGG, and ResNet, raising concerns about their applicability to modern and structurally diverse models. In this work, we propose a new empirical algorithm for connecting independently trained modes that generalizes beyond traditional architectures and supports a broader range of networks, including MobileNet, ShuffleNet, EfficientNet, RegNet, Deep Layer Aggregation (DLA), and Compact Convolutional Transformers (CCT). In addition to broader applicability, the proposed method yields more consistent connectivity paths across independently trained mode pairs and supports connecting modes obtained with different training hyperparameters.
- Abstract（参考訳）: 実験的および理論的研究により、独立に訓練されたニューラルネットワークモデルの間で連続した低損失経路が構築可能であることが示されている。
この現象はモード接続(英: mode connection)と呼ばれ、パラメータ空間において、異なるモード、すなわちよく訓練された解の間にそのような経路が存在することを指す。
しかしながら、既存の経験的手法は、基本的なCNN、VGG、ResNetのような、より古く比較的単純なアーキテクチャに主に有効であり、近代的かつ構造的に多様なモデルに適用可能であることを懸念している。
本研究では、従来のアーキテクチャを超えて一般化し、MobileNet、ShuffleNet、EfficientNet、RegNet、Deep Layer Aggregation(DLA)、Compact Convolutional Transformers(CCT)など幅広いネットワークをサポートする、独立に訓練されたモードを接続するための新しい経験的アルゴリズムを提案する。
より広い適用性に加えて、提案手法は、独立に訓練されたモードペア間でより一貫した接続パスを生成し、異なるトレーニングハイパーパラメータで得られる接続モードをサポートする。
関連論文リスト
- Simplicity Bias via Global Convergence of Sharpness Minimization [43.658859631741024]
ラベルノイズSGDは、2層ネットワークにおける損失ゼロのモデル多様体のシャープネスを常に最小化することを示す。
また、ゼロ損失多様体上の近似定常点における損失のヘッセンのトレースの新たな性質も見いだす。
論文 参考訳（メタデータ） (2024-10-21T18:10:37Z) - A simple connection from loss flatness to compressed neural representations [3.5502600490147196]
損失ランドスケープの平坦さを反映したパラメータ空間の幾何学的測度であるシャープネスは、ニューラルネットワークの挙動と潜在的な関係について長い間研究されてきた。
本稿では,特徴空間におけるニューラル表現の局所的幾何学的特徴がシャープさがどのように影響するかを考察する。
論文 参考訳（メタデータ） (2023-10-03T03:36:29Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳（メタデータ） (2022-04-09T16:41:53Z) - On the Omnipresence of Spurious Local Minima in Certain Neural Network
Training Problems [0.0]
本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。
このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
論文 参考訳（メタデータ） (2022-02-23T14:41:54Z) - Deep Networks on Toroids: Removing Symmetries Reveals the Structure of
Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。
最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。
また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文 参考訳（メタデータ） (2022-02-07T09:57:54Z) - Neighborhood Region Smoothing Regularization for Finding Flat Minima In
Deep Neural Networks [16.4654807047138]
我々はNRS(Neighborhood Region Smoothing)と呼ばれる効果的な正規化手法を提案する。
NRSは、近似出力を得るために、重量空間の近傍領域を規則化しようとする。
NRSによって発見されたミニマは、従来の方法に比べて比較的小さなヘッセン固有値を持つことを実証的に示す。
論文 参考訳（メタデータ） (2022-01-16T15:11:00Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳（メタデータ） (2021-12-31T11:56:01Z) - On Connectivity of Solutions in Deep Learning: The Role of
Over-parameterization and Feature Quality [21.13299067136635]
パラメータ空間における2つの任意の点の接続を保証するための新しい条件を提案する。
この条件はドロップアウトの安定性よりも明らかに穏やかであり、低損失経路の発見問題とニューラルネットワークの記憶能力との関係を提供する。
論文 参考訳（メタデータ） (2021-02-18T23:44:08Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Effective Version Space Reduction for Convolutional Neural Networks [61.84773892603885]
アクティブラーニングでは、サンプリングバイアスは深刻な矛盾問題を引き起こし、アルゴリズムが最適な仮説を見つけるのを妨げる可能性がある。
本稿では,畳み込みニューラルネットワークを用いた能動学習について,バージョン空間削減の原理的レンズを用いて検討する。
論文 参考訳（メタデータ） (2020-06-22T17:40:03Z) - Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。
2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文 参考訳（メタデータ） (2019-12-31T22:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。