論文の概要: Model Fusion via Neuron Transplantation

• arxiv url: http://arxiv.org/abs/2502.06849v1
• Date: Fri, 07 Feb 2025 08:45:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:37.972377
• Title: Model Fusion via Neuron Transplantation
• Title（参考訳）: 神経移植によるモデル融合
• Authors: Muhammed Öz, Nicholas Kiefer, Charlotte Debus, Jasmin Hörter, Achim Streit, Markus Götz,
• Abstract要約: emphNeuron transplantation (NT) と呼ばれる新しいモデル融合法を提案する。 我々は、すべてのアンサンブルメンバーから重要なニューロンを、重要でないニューロンを刈り取ることによって得られる空き空間に移植することで、モデルのアンサンブルを融合する。 パフォーマンスの最初の損失は、微調整によって素早く回復でき、同じモデルのキャパシティとアーキテクチャの個々のアンサンブルメンバーよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 0.07916635054977067
• License:
• Abstract: Ensemble learning is a widespread technique to improve the prediction performance of neural networks. However, it comes at the price of increased memory and inference time. In this work we propose a novel model fusion technique called \emph{Neuron Transplantation (NT)} in which we fuse an ensemble of models by transplanting important neurons from all ensemble members into the vacant space obtained by pruning insignificant neurons. An initial loss in performance post-transplantation can be quickly recovered via fine-tuning, consistently outperforming individual ensemble members of the same model capacity and architecture. Furthermore, NT enables all the ensemble members to be jointly pruned and jointly trained in a combined model. Comparing it to alignment-based averaging (like Optimal-Transport-fusion), it requires less fine-tuning than the corresponding OT-fused model, the fusion itself is faster and requires less memory, while the resulting model performance is comparable or better. The code is available under the following link: https://github.com/masterbaer/neuron-transplantation.
• Abstract（参考訳）: アンサンブル学習は、ニューラルネットワークの予測性能を改善するための広範な技術である。 しかし、メモリと推論時間の増加により、価格が上がる。 本研究では,すべてのアンサンブルメンバーから重要なニューロンを,無意味なニューロンを刈り取ることによって得られる空き空間に移植することにより,モデルのアンサンブルを融合させる,‘emph{Neuron transplantation(NT)} と呼ばれる新しいモデル融合技術を提案する。 移植後のパフォーマンスの最初の損失は、微調整によって素早く回復でき、同じモデル容量とアーキテクチャの個々のアンサンブルメンバーよりも一貫して優れる。 さらに、NTは全てのアンサンブルメンバーを共同で切断し、組み合わせたモデルで共同で訓練することを可能にする。 これをアライメントベースの平均化(Optimal-Transport-fusionのような)と比較すると、対応するOT融合モデルよりも微調整を必要とせず、融合自体が高速でメモリを必要とせず、結果として得られるモデル性能は同等かそれ以上である。 コードは以下のリンクで入手できる。

関連論文リスト

• Overcoming the Limitations of Layer Synchronization in Spiking Neural Networks [0.11522790873450185]
  真に非同期なシステムでは、すべてのニューロンが閾値を同時に評価し、シナプス前電流を受けるとスパイクを発生させることができる。 本稿では,ネットワーク同期を実装したシミュレーション環境において,この問題を3つのデータセットで文書化し,定量化する。 レイヤ同期で訓練されたモデルは、同期がない場合にサブ最適に実行するか、エネルギーと遅延の低減の恩恵を受けないことを示す。
  論文  参考訳（メタデータ） (2024-08-09T14:39:23Z)
• Syntactic vs Semantic Linear Abstraction and Refinement of Neural Networks [0.0]
  抽象化はスケーラビリティを改善するための重要な検証テクニックです。 分類ネットワークを抽象化するための従来のアプローチは、いくつかのニューロンをそれと十分に類似した1つに置き換えるものだった。 本研究では、ニューロンを他のニューロンの線形結合に置き換えることにより、より柔軟な枠組みを提供する。
  論文  参考訳（メタデータ） (2023-07-20T14:10:40Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Super Neurons [18.710336981941147]
  非線形学習ユニットを用いたニューラルネットワークモデルとして,自己組織型オペレーショナルニューラルネットワーク(Self-ONN)が提案されている。 Self-ONNには、ローカライズされた(固定された)カーネル操作という共通の欠点がある。 本稿では、ランダムまたは学習可能なカーネルシフトを可能にする優れた(生成的な)ニューロンモデルを示す。
  論文  参考訳（メタデータ） (2021-08-03T16:17:45Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Investigation and Analysis of Hyper and Hypo neuron pruning to selectively update neurons during Unsupervised Adaptation [8.845660219190298]
  プルーニングアプローチは、モデルの決定に寄与しない低塩性ニューロンを求める。 この研究は、プルーニングアプローチが、高塩分(主に活性または超活性)または低塩分(ほとんど活性または偽)のニューロンを検出することに成功しているかどうかを調査する。 これは、まず特定のニューロン(高次ニューロンと低次ニューロンからなる)を選択的に適応させ、次にフルネットワークの微調整を行うことが可能であることを示している。
  論文  参考訳（メタデータ） (2020-01-06T19:46:57Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。