論文の概要: Network Fission Ensembles for Low-Cost Self-Ensembles

• arxiv url: http://arxiv.org/abs/2408.02301v1
• Date: Mon, 5 Aug 2024 08:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:06:30.616911
• Title: Network Fission Ensembles for Low-Cost Self-Ensembles
• Title（参考訳）: 低コストセルフアンサンブルのためのネットワークフィッションアンサンブル
• Authors: Hojung Lee, Jong-Seok Lee,
• Abstract要約: NFE(Network Fission Ensembles)と呼ばれる低コストのアンサンブル学習と推論を提案する。 まず、トレーニングの負担を軽減するために、いくつかの重みを取り除きます。 次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。
• 参考スコア（独自算出の注目度）: 20.103367702014474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent ensemble learning methods for image classification have been shown to improve classification accuracy with low extra cost. However, they still require multiple trained models for ensemble inference, which eventually becomes a significant burden when the model size increases. In this paper, we propose a low-cost ensemble learning and inference, called Network Fission Ensembles (NFE), by converting a conventional network itself into a multi-exit structure. Starting from a given initial network, we first prune some of the weights to reduce the training burden. We then group the remaining weights into several sets and create multiple auxiliary paths using each set to construct multi-exits. We call this process Network Fission. Through this, multiple outputs can be obtained from a single network, which enables ensemble learning. Since this process simply changes the existing network structure to multi-exits without using additional networks, there is no extra computational burden for ensemble learning and inference. Moreover, by learning from multiple losses of all exits, the multi-exits improve performance via regularization, and high performance can be achieved even with increased network sparsity. With our simple yet effective method, we achieve significant improvement compared to existing ensemble methods. The code is available at https://github.com/hjdw2/NFE.
• Abstract（参考訳）: 近年,画像分類のためのアンサンブル学習法は,低コストで分類精度を向上させることが示されている。 しかし、アンサンブル推論には複数の訓練されたモデルが必要であるため、モデルのサイズが大きくなるとかなりの負担がかかる。 本稿では,従来のネットワーク自体をマルチエグジット構造に変換することで,NFE(Network Fission Ensembles)と呼ばれる低コストなアンサンブル学習と推論を提案する。 与えられた初期ネットワークから始めて、トレーニングの負担を軽減するために、まずいくつかの重みを経験する。 次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。 これを Network Fission と呼ぶ。 これにより、1つのネットワークから複数の出力を得ることができ、それによってアンサンブル学習が可能になる。 このプロセスは、既存のネットワーク構造を、追加のネットワークを使わずにマルチエグゼクトに単純に変更するため、アンサンブル学習や推論に余分な計算負担は発生しない。 さらに、全出口の複数損失から学習することで、マルチエグゼクティブは正規化により性能を向上し、ネットワークの幅が増大しても高い性能を達成することができる。 本手法は,既存のアンサンブル法に比べ,大幅に改善されている。 コードはhttps://github.com/hjdw2/NFEで公開されている。

関連論文リスト

• Neural Subnetwork Ensembles [2.44755919161855]
  この論文は、Subnetwork Ensemblesを構築するための低コストのフレームワークを導入し、形式化する。 児童ネットワークは、訓練された親モデルからのサンプリング、摂動、最適化によって形成される。 その結果,本手法はトレーニング効率,パラメトリック利用,一般化性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-11-23T17:01:16Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Prune and Tune Ensembles: Low-Cost Ensemble Learning With Sparse Independent Subnetworks [0.0]
  我々は、スクラッチから複数のモデルを訓練することなく、多様なニューラルネットワークのアンサンブルを生成する、高速で低コストな方法を紹介した。 親のクローンを作成し、各子のパラメータを劇的に刈り上げ、ユニークな多様なトポロジを持つメンバのアンサンブルを作成します。 この多様性により、"Prune and Tune"アンサンブルは、トレーニングコストのごく一部で従来のアンサンブルと競合する結果を達成することができる。
  論文  参考訳（メタデータ） (2022-02-23T20:53:54Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations [51.85020143716815]
  MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。 提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。 MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
  論文  参考訳（メタデータ） (2021-05-14T22:30:13Z)
• MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks [97.08677678499075]
  マルチインプットマルチアウトプットディープワークを学ぶための新しいフレームワークであるMixMoを紹介します。 機能、特にCutMixのパッチによるバイナリの混合は、ワークをより強く、より多様なものにすることによって、結果を向上します。 実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。
  論文  参考訳（メタデータ） (2021-03-10T15:31:02Z)
• Learning to Branch for Multi-Task Learning [12.49373126819798]
  ネットワーク内の共有や分岐の場所を学習するマルチタスク学習アルゴリズムを提案する。 本稿では,木分岐操作をガムベル・ソフトマックスサンプリング手法として用いる新しい木構造設計空間を提案する。
  論文  参考訳（メタデータ） (2020-06-02T19:23:21Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。