Fugu-MT 論文翻訳(概要): Merging of neural networks

論文の概要: Merging of neural networks

arxiv url: http://arxiv.org/abs/2204.09973v1
Date: Thu, 21 Apr 2022 08:52:54 GMT
ステータス: 処理完了
システム内更新日: 2022-04-22 20:26:20.311319
Title: Merging of neural networks
Title（参考訳）: ニューラルネットワークの融合
Authors: Martin Pa\v{s}en, Vladim\'ir Bo\v{z}a
Abstract要約: 2つのネットワークをトレーニングし、それらをマージすると、1つのネットワークを長時間トレーニングするよりもパフォーマンスが向上することを示す。この手順は、不運な種を避けるために複数の開始種子を試した後の最終段階として用いられる可能性がある。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a simple scheme for merging two neural networks trained with different starting initialization into a single one with the same size as the original ones. We do this by carefully selecting channels from each input network. Our procedure might be used as a finalization step after one tries multiple starting seeds to avoid an unlucky one. We also show that training two networks and merging them leads to better performance than training a single network for an extended period of time. Availability: https://github.com/fmfi-compbio/neural-network-merging
Abstract（参考訳）: 異なる初期化でトレーニングされた2つのニューラルネットワークを、元のニューラルネットワークと同じサイズで単一のニューラルネットワークにマージする方法を提案する。我々は、各入力ネットワークからチャンネルを慎重に選択することでこれを行う。この手順は、不運な種を避けるために複数の開始種子を試した後の最終段階として用いられる可能性がある。また,2つのネットワークを訓練し,マージすることで,1つのネットワークを長時間トレーニングするよりも優れたパフォーマンスが得られることを示した。可用性: https://github.com/fmfi-compbio/neural-network-merging

関連論文リスト

Network Fission Ensembles for Low-Cost Self-Ensembles [20.103367702014474]
NFE(Network Fission Ensembles)と呼ばれる低コストのアンサンブル学習と推論を提案する。まず、トレーニングの負担を軽減するために、いくつかの重みを取り除きます。次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。
論文参考訳（メタデータ） (2024-08-05T08:23:59Z)
Stitching for Neuroevolution: Recombining Deep Neural Networks without Breaking Them [0.0]
神経進化への伝統的なアプローチは、しばしばゼロから始まる。アーキテクチャと特徴表現が典型的に異なるため、トレーニングされたネットワークの再結合は簡単ではない。我々は、クロスオーバーポイントで新しいレイヤを導入することで、ネットワークをマージするステアリングを採用しています。
論文参考訳（メタデータ） (2024-03-21T08:30:44Z)
StitchNet: Composing Neural Networks from Pre-Trained Fragments [3.638431342539701]
我々は,新しいニューラルネットワーク生成パラダイムであるStitchNetを提案する。複数のトレーニング済みニューラルネットワークの断片を縫合する。これらの断片を縫い合わせることで、従来の訓練されたネットワークに匹敵する精度でニューラルネットワークを作ることができることを示す。
論文参考訳（メタデータ） (2023-01-05T08:02:30Z)
Bit-wise Training of Neural Network Weights [4.56877715768796]
ニューラルネットワークの重みを表す個々のビットを学習するアルゴリズムを導入する。この方法は任意のビット深度で整数値で重みをトレーニングし、スパースネットワークを自然に発見する。完全連結ネットワークを用いた標準的なトレーニング手法と,畳み込みネットワークや残留ネットワークの標準トレーニングと同等の性能を示す。
論文参考訳（メタデータ） (2022-02-19T10:46:54Z)
FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文参考訳（メタデータ） (2021-06-28T10:48:20Z)
Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文参考訳（メタデータ） (2021-06-16T15:57:51Z)
MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations [51.85020143716815]
MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。 MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
論文参考訳（メタデータ） (2021-05-14T22:30:13Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Feature Sharing Cooperative Network for Semantic Segmentation [10.305130700118399]
協調学習を用いた意味セグメンテーション手法を提案する。特徴マップを共有することにより、2つのネットワークのうちの1つが1つのネットワークで取得できない情報を得ることができる。提案手法は従来の単一ネットワークやネットワークアンサンブルよりも高いセグメンテーション精度を実現した。
論文参考訳（メタデータ） (2021-01-20T00:22:00Z)
Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN [80.17705319689139]
複数のシングルタスク/マルチタスクの教師から,多タスクの学生ネットワークを構築するために,データフリーな知識アマルガメート戦略を提案する。トレーニングデータを持たない提案手法は, フル教師付き手法と比較して, 驚くほど競争力のある結果が得られる。
論文参考訳（メタデータ） (2020-03-20T03:20:52Z)
Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。本稿では,サイドチューニングという簡単な方法を提案する。
論文参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。