論文の概要: Model Fusion via Neuron Interpolation

• arxiv url: http://arxiv.org/abs/2507.00037v1
• Date: Wed, 18 Jun 2025 23:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-07 02:47:44.402387
• Title: Model Fusion via Neuron Interpolation
• Title（参考訳）: ニューロン補間によるモデル融合
• Authors: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh,
• Abstract要約: 我々は、複数の訓練されたニューラルネットワークを単一のネットワークに統合するために設計された、新しいモデルの融合アルゴリズムのファミリーを提示する。 我々のアルゴリズムは、親モデルの中間ニューロンをグループ化し、融合モデルが対応するサブネットワークに近似するターゲット表現を作成する。
• 参考スコア（独自算出の注目度）: 25.022849817421964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model fusion aims to combine the knowledge of multiple models by creating one representative model that captures the strengths of all of its parents. However, this process is non-trivial due to differences in internal representations, which can stem from permutation invariance, random initialization, or differently distributed training data. We present a novel, neuron-centric family of model fusion algorithms designed to integrate multiple trained neural networks into a single network effectively regardless of training data distribution. Our algorithms group intermediate neurons of parent models to create target representations that the fused model approximates with its corresponding sub-network. Unlike prior approaches, our approach incorporates neuron attribution scores into the fusion process. Furthermore, our algorithms can generalize to arbitrary layer types. Experimental results on various benchmark datasets demonstrate that our algorithms consistently outperform previous fusion techniques, particularly in zero-shot and non-IID fusion scenarios. The code is available at https://github.com/AndrewSpano/neuron-interpolation-model-fusion.
• Abstract（参考訳）: モデル融合は、すべての両親の強みを捉える1つの代表モデルを作成することで、複数のモデルの知識を組み合わせることを目的としている。 しかし、このプロセスは、置換不変性、ランダム初期化、あるいは異なる分散トレーニングデータに由来する内部表現の違いのため、自明ではない。 我々は、トレーニングデータ分布に関係なく、複数のトレーニングされたニューラルネットワークを単一のネットワークに効果的に統合するために設計された、新しいニューロン中心のモデル融合アルゴリズムのファミリーを提案する。 我々のアルゴリズムは、親モデルの中間ニューロンをグループ化し、融合モデルが対応するサブネットワークに近似するターゲット表現を作成する。 従来のアプローチとは異なり、我々のアプローチでは核融合過程にニューロンの属性スコアが組み込まれている。 さらに,アルゴリズムは任意の層タイプに一般化できる。 種々のベンチマークデータセットによる実験結果から, 従来の核融合技術, 特にゼロショットおよび非IID融合シナリオにおいて, アルゴリズムは一貫して優れていたことが判明した。 コードはhttps://github.com/AndrewSpano/neuron-interpolation-model-fusionで公開されている。

関連論文リスト

• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Investigating Neuron Disturbing in Fusing Heterogeneous Neural Networks [6.389882065284252]
  本稿では,異種局所モデルのニューロン同士が相互に干渉するニューロン乱れ現象を明らかにする。 本稿では,ニューラルネットワークの乱れを排除し,AMSと呼ばれる局所モデルを適応的に選択して予測を行う実験手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T06:47:48Z)
• Fully differentiable model discovery [0.0]
  ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。 我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
  論文  参考訳（メタデータ） (2021-06-09T08:11:23Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。