Fugu-MT 論文翻訳(概要): Transfer without Forgetting

論文の概要: Transfer without Forgetting

arxiv url: http://arxiv.org/abs/2206.00388v1
Date: Wed, 1 Jun 2022 10:40:40 GMT
ステータス: 処理完了
システム内更新日: 2022-06-02 16:01:06.583882
Title: Transfer without Forgetting
Title（参考訳）: 忘れずに転送する
Authors: Matteo Boschini, Lorenzo Bonicelli, Angelo Porrello, Giovanni Bellitto, Matteo Pennisi, Simone Palazzo, Concetto Spampinato, Simone Calderara
Abstract要約: 本研究では,連続学習(CL)と伝達学習(TL)の絡み合いについて検討する。本稿では,固定事前学習ネットワーク上に構築したハイブリッド連続移動学習手法であるTransfer without Forgetting (TwF)を提案する。実験の結果、TwFは様々な設定で他のCLメソッドよりも着実に優れていることがわかった。
参考スコア（独自算出の注目度）: 18.770739544272388
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work investigates the entanglement between Continual Learning (CL) and Transfer Learning (TL). In particular, we shed light on the widespread application of network pretraining, highlighting that it is itself subject to catastrophic forgetting. Unfortunately, this issue leads to the under-exploitation of knowledge transfer during later tasks. On this ground, we propose Transfer without Forgetting (TwF), a hybrid Continual Transfer Learning approach building upon a fixed pretrained sibling network, which continuously propagates the knowledge inherent in the source domain through a layer-wise loss term. Our experiments indicate that TwF steadily outperforms other CL methods across a variety of settings, averaging a 4.81% gain in Class-Incremental accuracy over a variety of datasets and different buffer sizes.
Abstract（参考訳）: 本研究では,連続学習(CL)と移動学習(TL)の絡み合いについて検討する。特に,ネットワーク事前学習の広範な適用に光を当てて,それが大惨事的忘れ込みの対象となることを強調した。残念ながら、この問題は後続のタスクにおける知識伝達の過小評価につながる。そこで本研究では,固定事前学習された兄弟ネットワーク上に構築したハイブリッド連続転送学習手法であるtwf(transfer without forgetting)を提案する。実験の結果、TwFはさまざまな設定で他のCLメソッドよりも着実に優れており、さまざまなデータセットと異なるバッファサイズでクラスインクリメンタルな精度が平均4.81%向上していることがわかった。

関連論文リスト

Learning Modality Knowledge Alignment for Cross-Modality Transfer [9.19049344360835]
クロスモダリティ転送は、事前訓練されたデータのモダリティに属さないかもしれないタスクを完了するために、大きな事前訓練されたモデルを活用することを目的としている。既存の研究は古典的な微調整をクロスモーダルなシナリオに拡張することに成功したが、移行に対するモダリティギャップの影響についてはまだ理解されていない。移動前のモダリティ知識の相違を低減するために、ターゲットデータ変換を学習するメタラーニング手法であるModality kNowledge Alignment(MoNA)を提案する。
論文参考訳（メタデータ） (2024-06-27T03:23:47Z)
On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。等変正則化(CLER)による連続学習を提案する。
論文参考訳（メタデータ） (2023-05-05T16:10:31Z)
Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks [24.041268664220294]
畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。本稿では,ネットワーク構造やデータセットに制約を加えることなく,シンプルな知識伝達手法を提案する。本研究では,従来の知識を現在の学習プロセスに伝達する学習手法を,ソフトラベルを用いた自己監督を通じて,目標タスクの補助的タスクとして考案する。
論文参考訳（メタデータ） (2021-10-25T07:18:26Z)
Improving filling level classification with adversarial training [90.01594595780928]
単一画像からカップや飲料グラスのコンテントのレベルを分類する問題について検討する。汎用ソースデータセットで逆トレーニングを使用し、タスク固有のデータセットでトレーニングを洗練します。ソース領域における逆学習による伝達学習は,テストセットの分類精度を常に向上させることを示す。
論文参考訳（メタデータ） (2021-02-08T08:32:56Z)
Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文参考訳（メタデータ） (2020-12-31T08:21:37Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)
Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文参考訳（メタデータ） (2020-09-24T15:40:55Z)
What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文参考訳（メタデータ） (2020-08-26T17:23:40Z)
A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
論文参考訳（メタデータ） (2020-06-08T02:39:59Z)
Continuous Transfer Learning with Label-informed Distribution Alignment [42.34180707803632]
時間発展ターゲット領域を持つ新しい連続移動学習環境について検討する。連続移動学習に関連する大きな課題の1つは、負転移の発生の可能性である。本稿では,TransLATE という汎用逆変分自動エンコーダフレームワークを提案する。
論文参考訳（メタデータ） (2020-06-05T04:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。