論文の概要: Model Fusion of Heterogeneous Neural Networks via Cross-Layer Alignment

• arxiv url: http://arxiv.org/abs/2110.15538v1
• Date: Fri, 29 Oct 2021 05:02:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 22:22:18.576737
• Title: Model Fusion of Heterogeneous Neural Networks via Cross-Layer Alignment
• Title（参考訳）: クロス層アライメントによる異種ニューラルネットワークのモデル融合
• Authors: Dang Nguyen and Khai Nguyen and Dinh Phung and Hung Bui and Nhat Ho
• Abstract要約: CLAFusionと呼ばれる新しいモデル融合フレームワークを提案し、異なる層でニューラルネットワークを融合させる。 階層間のアライメントに基づいて、階層モデル融合を適用する前に、ニューラルネットワークの層数のバランスをとる。
• 参考スコア（独自算出の注目度）: 17.735593218773758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Layer-wise model fusion via optimal transport, named OTFusion, applies soft neuron association for unifying different pre-trained networks to save computational resources. While enjoying its success, OTFusion requires the input networks to have the same number of layers. To address this issue, we propose a novel model fusion framework, named CLAFusion, to fuse neural networks with a different number of layers, which we refer to as heterogeneous neural networks, via cross-layer alignment. The cross-layer alignment problem, which is an unbalanced assignment problem, can be solved efficiently using dynamic programming. Based on the cross-layer alignment, our framework balances the number of layers of neural networks before applying layer-wise model fusion. Our synthetic experiments indicate that the fused network from CLAFusion achieves a more favorable performance compared to the individual networks trained on heterogeneous data without the need for any retraining. With an extra fine-tuning process, it improves the accuracy of residual networks on the CIFAR10 dataset. Finally, we explore its application for model compression and knowledge distillation when applying to the teacher-student setting.
• Abstract（参考訳）: OTFusionと呼ばれる最適輸送によるレイヤーワイドモデル融合は、様々な事前訓練されたネットワークを統一して計算資源を節約するためにソフトニューロンアソシエーションを適用する。 OTFusionはその成功を楽しみながら、入力ネットワークに同じ数のレイヤを持つ必要がある。 この問題に対処するために,我々は,異種ニューラルネットワークと呼ぶ異なる階層のニューラルネットワークをクロスレイヤーアライメントによって融合する,clafusionという新しいモデル融合フレームワークを提案する。 不均衡割当問題である層間アライメント問題は動的計画法を用いて効率的に解くことができる。 階層間のアライメントに基づいて、階層モデル融合を適用する前に、ニューラルネットワークの層数のバランスをとる。 合成実験により, CLAFusionの融合ネットワークは, 再学習を必要とせず, 異種データで訓練した個々のネットワークと比較して, より良好な性能が得られることが示された。 追加の微調整処理により、CIFAR10データセット上の残留ネットワークの精度が向上する。 最後に,モデル圧縮と知識蒸留への応用について,教師の学習環境に適用した。

関連論文リスト

• Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
  神経進化への伝統的なアプローチは、しばしばゼロから始まる。 アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。 我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
  論文  参考訳（メタデータ） (2024-03-21T08:30:44Z)
• Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
  フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。 私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
  論文  参考訳（メタデータ） (2024-03-04T05:10:28Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Lattice Fusion Networks for Image Denoising [4.010371060637209]
  本稿では,畳み込みニューラルネットワークにおける特徴融合手法を提案する。 これらの手法のいくつかと提案したネットワークは、DAG(Directed Acyclic Graph)ネットワークの一種と見なすことができる。 提案したネットワークは、学習可能なパラメータをはるかに少なくして、より良い結果を得ることができる。
  論文  参考訳（メタデータ） (2020-11-28T18:57:54Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。