論文の概要: Wasserstein Barycenter-based Model Fusion and Linear Mode Connectivity
of Neural Networks
- arxiv url: http://arxiv.org/abs/2210.06671v1
- Date: Thu, 13 Oct 2022 01:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 16:52:10.818336
- Title: Wasserstein Barycenter-based Model Fusion and Linear Mode Connectivity
of Neural Networks
- Title（参考訳）: ニューラルネットワークのwasserstein barycenterに基づくモデル融合と線形モード接続
- Authors: Aditya Kumar Akash, Sixu Li and Nicol\'as Garc\'ia Trillos
- Abstract要約: ニューラルネットワーク(NN)モデル融合のための統一的な数学的枠組みを提案する。
我々のフレームワークでは、融合は階層的に発生し、ネットワーク内のノードをその前の層の関数として解釈する。
数学的フレームワークの汎用性により、幅広いNNのモデル融合と線形モード接続について話すことができる。
- 参考スコア（独自算出の注目度）: 2.191505742658975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Based on the concepts of Wasserstein barycenter (WB) and Gromov-Wasserstein
barycenter (GWB), we propose a unified mathematical framework for neural
network (NN) model fusion and utilize it to reveal new insights about the
linear mode connectivity of SGD solutions. In our framework, the fusion occurs
in a layer-wise manner and builds on an interpretation of a node in a network
as a function of the layer preceding it. The versatility of our mathematical
framework allows us to talk about model fusion and linear mode connectivity for
a broad class of NNs, including fully connected NN, CNN, ResNet, RNN, and LSTM,
in each case exploiting the specific structure of the network architecture. We
present extensive numerical experiments to: 1) illustrate the strengths of our
approach in relation to other model fusion methodologies and 2) from a certain
perspective, provide new empirical evidence for recent conjectures which say
that two local minima found by gradient-based methods end up lying on the same
basin of the loss landscape after a proper permutation of weights is applied to
one of the models.
- Abstract（参考訳）: 本稿では,Wasserstein Barycenter(WB)とGromov-Wasserstein Barycenter(GWB)の概念に基づいて,ニューラルネットワークモデル融合のための統一的な数学的枠組みを提案し,SGDソリューションの線形モード接続に関する新たな知見を明らかにする。
我々のフレームワークでは、融合は階層的に発生し、ネットワーク内のノードをその前の層の関数として解釈する。
私たちの数学的フレームワークの汎用性によって、ネットワークアーキテクチャの特定の構造を利用する各ケースにおいて、完全接続のnn、cnn、resnet、rnn、lstmを含む幅広いnnのモデル融合と線形モード接続について話すことができます。
広範な数値実験を行います
1)我々のアプローチの強みを他のモデル融合手法と関連づけて示す。
2) 勾配に基づく手法によって発見された2つの局所的ミニマは, 重みの適切な置換がモデルの1つに適用された後, 損失景観の同じ盆地に横たわる, という最近の推測に対する新たな実証的証拠を与える。
関連論文リスト
- JMSNAS: Joint Model Split and Neural Architecture Search for Learning
over Mobile Edge Networks [23.230079759174902]
モバイルエッジネットワーク上でのDNNモデルの自動生成とデプロイのために,ジョイントモデル分割とニューラルアーキテクチャサーチ(JMSNAS)フレームワークを提案する。
計算資源制約と通信資源制約の両方を考慮すると、計算グラフ探索問題を定式化する。
実験により,最先端の分割機械学習設計手法よりも提案手法が優れていることを確認した。
論文 参考訳（メタデータ） (2021-11-16T03:10:23Z) - Multi-Scale Semantics-Guided Neural Networks for Efficient
Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。
MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-11-07T03:50:50Z) - Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
論文 参考訳（メタデータ） (2021-07-30T16:42:45Z) - Fully differentiable model discovery [0.0]
ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。
我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
論文 参考訳（メタデータ） (2021-06-09T08:11:23Z) - Fusing the Old with the New: Learning Relative Camera Pose with
Geometry-Guided Uncertainty [91.0564497403256]
本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。
本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。
学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
論文 参考訳（メタデータ） (2021-04-16T17:59:06Z) - SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。
従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
論文 参考訳（メタデータ） (2021-02-25T17:45:50Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z) - A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。
本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
論文 参考訳（メタデータ） (2020-02-14T08:24:53Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。