論文の概要: Going Beyond Linear Mode Connectivity: The Layerwise Linear Feature Connectivity

• arxiv url: http://arxiv.org/abs/2307.08286v2
• Date: Mon, 13 Nov 2023 08:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 21:00:32.130395
• Title: Going Beyond Linear Mode Connectivity: The Layerwise Linear Feature Connectivity
• Title（参考訳）: 線形モード接続性を超えて行く:階層的線形特徴接続性
• Authors: Zhanpeng Zhou, Yongyi Yang, Xiaojiang Yang, Junchi Yan, Wei Hu
• Abstract要約: LLFCの超越についての研究は,特徴学習の視点を取り入れることでLCCの理解を深める。 LLFCの総合的な実証的証拠として,2つの訓練ネットワークがLCCを満たす場合,ほぼすべての層でLLFCを満足することを示す。
• 参考スコア（独自算出の注目度）: 62.11981948274508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has revealed many intriguing empirical phenomena in neural network training, despite the poorly understood and highly complex loss landscapes and training dynamics. One of these phenomena, Linear Mode Connectivity (LMC), has gained considerable attention due to the intriguing observation that different solutions can be connected by a linear path in the parameter space while maintaining near-constant training and test losses. In this work, we introduce a stronger notion of linear connectivity, Layerwise Linear Feature Connectivity (LLFC), which says that the feature maps of every layer in different trained networks are also linearly connected. We provide comprehensive empirical evidence for LLFC across a wide range of settings, demonstrating that whenever two trained networks satisfy LMC (via either spawning or permutation methods), they also satisfy LLFC in nearly all the layers. Furthermore, we delve deeper into the underlying factors contributing to LLFC, which reveal new insights into the spawning and permutation approaches. The study of LLFC transcends and advances our understanding of LMC by adopting a feature-learning perspective.
• Abstract（参考訳）: 最近の研究は、十分に理解されておらず、非常に複雑な損失の風景とトレーニングのダイナミクスにもかかわらず、ニューラルネットワークトレーニングにおいて興味深い経験的現象を数多く明らかにしている。 これらの現象の1つであるリニアモード接続(lmc)は、パラメータ空間内の線形経路によって異なる解が接続できるという興味深い観察により、ほぼ安定なトレーニングとテスト損失を維持しながら、かなりの注目を集めている。 本研究では,異なるネットワーク内の各層の特徴マップが線形連結であることを示す,リニア接続のより強固な概念であるレイヤワイズリニア特徴接続(llfc)を導入する。 LLFCの総合的な実証的証拠として,2つの訓練されたネットワークがLCCを満たす場合(生成法と置換法のいずれか)に,LLFCをほぼすべての層で満たすことを示す。 さらに, LLFCに寄与する要因を深く掘り下げ, 発芽と置換のアプローチに関する新たな知見を明らかにした。 LLFCの超越についての研究は,特徴学習の視点を取り入れることでLCCの理解を深める。

関連論文リスト

• Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
  トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。 この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
  論文  参考訳（メタデータ） (2024-11-04T15:54:32Z)
• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• Exploring Neural Network Landscapes: Star-Shaped and Geodesic Connectivity [4.516746821973374]
  2つの典型的な大域的ミニマに対して、バリアなしでそれらを繋ぐ経路が存在することを示す。 有限個の典型的なミニマに対して、すべてのミニマ多様体を同時に接続するミニマ多様体の中心が存在する。 その結果,教師-学生構成下での線形ネットワークと2層ReLUネットワークに有効であることが確認できた。
  論文  参考訳（メタデータ） (2024-04-09T15:35:02Z)
• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Understanding Deep Neural Networks via Linear Separability of Hidden Layers [68.23950220548417]
  まず,ミンコフスキー差分に基づく線形分離性尺度(MD-LSMs)を提案し,2点集合の線形分離性度を評価する。 隠れ層出力の線形分離度とネットワークトレーニング性能との間には同期性があることを実証する。
  論文  参考訳（メタデータ） (2023-07-26T05:29:29Z)
• Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
  線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。 非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
  論文  参考訳（メタデータ） (2022-01-28T07:31:19Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。