論文の概要: Partial Fusion of Neural Networks: Efficient Tradeoffs Between Ensembles and Weight Aggregation

• arxiv url: http://arxiv.org/abs/2605.22350v1
• Date: Thu, 21 May 2026 11:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.234054
• Title: Partial Fusion of Neural Networks: Efficient Tradeoffs Between Ensembles and Weight Aggregation
• Title（参考訳）: ニューラルネットワークの部分融合:アンサンブルとウェイトアグリゲーションの効率的なトレードオフ
• Authors: Fabian Morelli, Stephan Eckstein,
• Abstract要約: アンサンブルと重み付けを補間するネットワークの部分融合を導入する。 これを実現する直接的な方法は、ニューロンレベルの類似性に基づく既存の重み付け手法を拡張することである。 一般化プルーニングが単一ネットワークに適用された場合,部分融合と同様の利点が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.9193579706947885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensembles of neural networks typically outperform individual networks but incur large computational costs, whereas weight aggregation produces less costly, yet also less accurate, aggregate models. We introduce partial fusion of networks, which interpolates between ensembles and weight aggregation and thus allows for a flexible tradeoff between computational cost and performance. A direct way to achieve this is to extend existing weight aggregation methods based on neuron-level similarity between different networks, where partial fusion then only aggregates weights of neurons which are most similar. We showcase one particular method to jointly identify which neurons are most similar and match them via partial optimal transport. Further, we consider the more general perspective of weight aggregation and partial fusion as generalized pruning of ensemble models, where neurons cannot just be deleted, but also linearly combined. Finally, we show that generalized pruning applied to a single network yields similar benefits as partial fusion by allowing for a tradeoff between isolating, deleting, and linearly combining neurons based on similarity. Our code is available at https://github.com/Fabian-Mor/partial_fusion_nn.
• Abstract（参考訳）: ニューラルネットワークのアンサンブルは、個々のネットワークを上回るが、計算コストが大きいのに対して、重み付けはコストが低く、しかも精度も低い集約モデルを生成する。 我々は,アンサンブルと重み付けを補間するネットワークの部分融合を導入し,計算コストと性能の柔軟なトレードオフを可能にする。 これを実現する直接的な方法は、異なるネットワーク間のニューロンレベルの類似性に基づいて既存の重み付け法を拡張し、部分融合は最も類似したニューロンの重みのみを集約する。 我々は、どのニューロンが最もよく似ているかを共同で同定し、部分的最適輸送によってそれらをマッチングする特定の方法を示す。 さらに、重み付けと部分融合のより一般的な視点は、ニューロンを除去するだけでなく、線形に結合するアンサンブルモデルの一般化されたプルーニングであると考える。 最後に、単一ネットワークに適用された一般化プルーニングは、類似性に基づいた神経細胞の分離、削除、線形結合のトレードオフを可能にすることにより、部分融合と同様の利点が得られることを示す。 私たちのコードはhttps://github.com/Fabian-Mor/partial_fusion_nn.comで利用可能です。

関連論文リスト

• Model Fusion via Neuron Interpolation [25.022849817421964]
  我々は、複数の訓練されたニューラルネットワークを単一のネットワークに統合するために設計された、新しいモデルの融合アルゴリズムのファミリーを提示する。 我々のアルゴリズムは、親モデルの中間ニューロンをグループ化し、融合モデルが対応するサブネットワークに近似するターゲット表現を作成する。
  論文  参考訳（メタデータ） (2025-06-18T23:31:05Z)
• Model Fusion via Neuron Transplantation [0.07916635054977067]
  emphNeuron transplantation (NT) と呼ばれる新しいモデル融合法を提案する。 我々は、すべてのアンサンブルメンバーから重要なニューロンを、重要でないニューロンを刈り取ることによって得られる空き空間に移植することで、モデルのアンサンブルを融合する。 パフォーマンスの最初の損失は、微調整によって素早く回復でき、同じモデルのキャパシティとアーキテクチャの個々のアンサンブルメンバーよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-02-07T08:45:38Z)
• Training-Free Restoration of Pruned Neural Networks [7.317046947172644]
  本研究では,より厳密で頑健なネットワーク復元手法を提案する。 提案手法は,元のネットワークと近似との再構成誤差の定式化に関する理論的解析に基づく。
  論文  参考訳（メタデータ） (2025-02-06T05:30:48Z)
• Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis [17.989809995141044]
  相関解析に基づくCCAマージを提案する。 2モデル以上のモデルがマージされた場合、CCAは過去の方法よりもはるかにうまく機能することを示す。
  論文  参考訳（メタデータ） (2024-07-07T14:21:04Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。