論文の概要: Connecting Independently Trained Modes via Layer-Wise Connectivity

• arxiv url: http://arxiv.org/abs/2505.02604v4
• Date: Mon, 22 Sep 2025 18:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 16:16:25.613879
• Title: Connecting Independently Trained Modes via Layer-Wise Connectivity
• Title（参考訳）: レイヤワイズ接続による独立学習モードの接続
• Authors: Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee,
• Abstract要約: 本稿では,従来のアーキテクチャを超越して一般化した,独立に訓練されたモードを接続するための新しい経験的アルゴリズムを提案する。 より広い適用性に加えて、提案手法は、独立に訓練されたモードペア間でより一貫した接続経路を得る。
• 参考スコア（独自算出の注目度）: 0.4094848360328623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Empirical and theoretical studies have shown that continuous low-loss paths can be constructed between independently trained neural network models. This phenomenon, known as mode connectivity, refers to the existence of such paths between distinct modes-i.e., well-trained solutions in parameter space. However, existing empirical methods are primarily effective for older and relatively simple architectures such as basic CNNs, VGG, and ResNet, raising concerns about their applicability to modern and structurally diverse models. In this work, we propose a new empirical algorithm for connecting independently trained modes that generalizes beyond traditional architectures and supports a broader range of networks, including MobileNet, ShuffleNet, EfficientNet, RegNet, Deep Layer Aggregation (DLA), and Compact Convolutional Transformers (CCT). In addition to broader applicability, the proposed method yields more consistent connectivity paths across independently trained mode pairs and supports connecting modes obtained with different training hyperparameters.
• Abstract（参考訳）: 実験的および理論的研究により、独立に訓練されたニューラルネットワークモデルの間で連続した低損失経路が構築可能であることが示されている。 この現象はモード接続(英: mode connection)と呼ばれ、パラメータ空間において、異なるモード、すなわちよく訓練された解の間にそのような経路が存在することを指す。 しかしながら、既存の経験的手法は、基本的なCNN、VGG、ResNetのような、より古く比較的単純なアーキテクチャに主に有効であり、近代的かつ構造的に多様なモデルに適用可能であることを懸念している。 本研究では、従来のアーキテクチャを超えて一般化し、MobileNet、ShuffleNet、EfficientNet、RegNet、Deep Layer Aggregation(DLA)、Compact Convolutional Transformers(CCT)など幅広いネットワークをサポートする、独立に訓練されたモードを接続するための新しい経験的アルゴリズムを提案する。 より広い適用性に加えて、提案手法は、独立に訓練されたモードペア間でより一貫した接続パスを生成し、異なるトレーニングハイパーパラメータで得られる接続モードをサポートする。

関連論文リスト

• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• In-Context Learning for Gradient-Free Receiver Adaptation: Principles, Applications, and Theory [54.92893355284945]
  ディープラーニングベースの無線受信機は、様々なチャネル環境に動的に適応する能力を提供する。 ジョイントトレーニング、ハイパーネットワークベースの手法、メタラーニングを含む現在の適応戦略は、限られた柔軟性を示すか、勾配降下による明示的な最適化を必要とする。 本稿では、インコンテキスト学習(ICL)の新たなパラダイムに根ざした勾配なし適応手法を提案する。
  論文  参考訳（メタデータ） (2025-06-18T06:43:55Z)
• Simplicity Bias via Global Convergence of Sharpness Minimization [43.658859631741024]
  ラベルノイズSGDは、2層ネットワークにおける損失ゼロのモデル多様体のシャープネスを常に最小化することを示す。 また、ゼロ損失多様体上の近似定常点における損失のヘッセンのトレースの新たな性質も見いだす。
  論文  参考訳（メタデータ） (2024-10-21T18:10:37Z)
• A simple connection from loss flatness to compressed neural representations [3.5502600490147196]
  損失ランドスケープの平坦さを反映したパラメータ空間の幾何学的測度であるシャープネスは、ニューラルネットワークの挙動と潜在的な関係について長い間研究されてきた。 本稿では,特徴空間におけるニューラル表現の局所的幾何学的特徴がシャープさがどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-10-03T03:36:29Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• On the Omnipresence of Spurious Local Minima in Certain Neural Network Training Problems [0.0]
  本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。 このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
  論文  参考訳（メタデータ） (2022-02-23T14:41:54Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)
• Neighborhood Region Smoothing Regularization for Finding Flat Minima In Deep Neural Networks [16.4654807047138]
  我々はNRS(Neighborhood Region Smoothing)と呼ばれる効果的な正規化手法を提案する。 NRSは、近似出力を得るために、重量空間の近傍領域を規則化しようとする。 NRSによって発見されたミニマは、従来の方法に比べて比較的小さなヘッセン固有値を持つことを実証的に示す。
  論文  参考訳（メタデータ） (2022-01-16T15:11:00Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
  偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。 私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
  論文  参考訳（メタデータ） (2021-07-30T16:42:45Z)
• On Connectivity of Solutions in Deep Learning: The Role of Over-parameterization and Feature Quality [21.13299067136635]
  パラメータ空間における2つの任意の点の接続を保証するための新しい条件を提案する。 この条件はドロップアウトの安定性よりも明らかに穏やかであり、低損失経路の発見問題とニューラルネットワークの記憶能力との関係を提供する。
  論文  参考訳（メタデータ） (2021-02-18T23:44:08Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Effective Version Space Reduction for Convolutional Neural Networks [61.84773892603885]
  アクティブラーニングでは、サンプリングバイアスは深刻な矛盾問題を引き起こし、アルゴリズムが最適な仮説を見つけるのを妨げる可能性がある。 本稿では,畳み込みニューラルネットワークを用いた能動学習について,バージョン空間削減の原理的レンズを用いて検討する。
  論文  参考訳（メタデータ） (2020-06-22T17:40:03Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)
• Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
  ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。 2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
  論文  参考訳（メタデータ） (2019-12-31T22:31:11Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。