論文の概要: Transfer Learning via Test-Time Neural Networks Aggregation
- arxiv url: http://arxiv.org/abs/2206.13399v1
- Date: Mon, 27 Jun 2022 15:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 18:48:46.553395
- Title: Transfer Learning via Test-Time Neural Networks Aggregation
- Title（参考訳）: テスト時間ニューラルネットワークアグリゲーションによる転送学習
- Authors: Bruno Casella, Alessio Barbaro Chisari, Sebastiano Battiato, Mario
Valerio Giuffrida
- Abstract要約: ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
- 参考スコア（独自算出の注目度）: 11.42582922543676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It has been demonstrated that deep neural networks outperform traditional
machine learning. However, deep networks lack generalisability, that is, they
will not perform as good as in a new (testing) set drawn from a different
distribution due to the domain shift. In order to tackle this known issue,
several transfer learning approaches have been proposed, where the knowledge of
a trained model is transferred into another to improve performance with
different data. However, most of these approaches require additional training
steps, or they suffer from catastrophic forgetting that occurs when a trained
model has overwritten previously learnt knowledge. We address both problems
with a novel transfer learning approach that uses network aggregation. We train
dataset-specific networks together with an aggregation network in a unified
framework. The loss function includes two main components: a task-specific loss
(such as cross-entropy) and an aggregation loss. The proposed aggregation loss
allows our model to learn how trained deep network parameters can be aggregated
with an aggregation operator. We demonstrate that the proposed approach learns
model aggregation at test time without any further training step, reducing the
burden of transfer learning to a simple arithmetical operation. The proposed
approach achieves comparable performance w.r.t. the baseline. Besides, if the
aggregation operator has an inverse, we will show that our model also
inherently allows for selective forgetting, i.e., the aggregated model can
forget one of the datasets it was trained on, retaining information on the
others.
- Abstract（参考訳）: ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
しかし、ディープネットワークは一般性に欠けており、すなわち、ドメインシフトによって異なる分布から引き出された新しい(テスト)セットでは、パフォーマンスが良くない。
この既知の問題に取り組むために、トレーニングされたモデルの知識を別のモデルに移し、異なるデータでパフォーマンスを改善する、いくつかの転送学習アプローチが提案されている。
しかしながら、これらのアプローチのほとんどは、追加のトレーニングステップを必要とするか、あるいはトレーニングされたモデルが以前に学習した知識を上書きした時に発生する破滅的な忘れに苦しむ。
ネットワークアグリゲーションを用いた新しい移動学習手法を用いて,両問題に対処する。
データセット固有のネットワークと集約ネットワークを統合フレームワークでトレーニングする。
損失関数は、タスク固有の損失(クロスエントロピーなど)と集約損失の2つの主要コンポーネントを含む。
提案した集約損失により,集約演算子で深層ネットワークパラメータをどのように集約できるかを学習することができる。
提案手法は, モデルアグリゲーションをテスト時に学習し, 簡単な算術演算への移行学習の負担を軽減することを実証する。
提案手法はベースラインに匹敵する性能を実現する。
さらに、アグリゲーション演算子に逆が存在する場合、我々のモデルは本質的に選択的に、すなわち、アグリゲーションされたモデルがトレーニングしたデータセットの1つを忘れ、他のモデルに関する情報を保持することができることを示す。
関連論文リスト
- Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳（メタデータ） (2024-10-28T13:48:43Z) - Transfer Learning with Reconstruction Loss [12.906500431427716]
本稿では,モデルに新たな再構築段階を追加することで,新たなモデル学習手法を提案する。
提案手法は、学習した特徴を一般化し、伝達しやすくし、効率的な伝達学習に容易に利用できる。
数値シミュレーションでは、MNIST手書き桁の転送学習、デバイス間無線ネットワークの電力割り当て、複数入出力ネットワークのダウンリンクビームフォーミングとローカライゼーションの3つの応用が研究されている。
論文 参考訳（メタデータ） (2024-03-31T00:22:36Z) - Adapt & Align: Continual Learning with Generative Models Latent Space
Alignment [15.729732755625474]
本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。
ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。
生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
論文 参考訳（メタデータ） (2023-12-21T10:02:17Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。
我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文 参考訳（メタデータ） (2022-02-04T14:12:31Z) - Transfer Learning for Node Regression Applied to Spreading Prediction [0.0]
特定のノードから拡散する効果を評価するために使用すると、最先端のノード表現学習者の有用性を検討します。
多くの実生活ネットワークはトポロジカルに類似しているため、学習したモデルが以前見つからなかったネットワークに一般化するかどうかを体系的に調査する。
これはノード回帰タスクにおけるゼロショット転送の有用性を評価する最初の試みの1つである。
論文 参考訳（メタデータ） (2021-03-31T20:09:09Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z) - Adversarial Incremental Learning [0.0]
ディープラーニングは、以前のデータが利用できない新しいタスクを学ぶ際に、これまで学んだ情報を忘れることができる。
本稿では,新しいタスクのトレーニング中に,古いデータを全く利用しない逆判別器に基づく手法を提案する。
我々は、CIFAR-100、SVHN、MNISTデータセット上で、他の最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2020-01-30T02:25:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。