論文の概要: GradMix: Multi-source Transfer across Domains and Tasks
- arxiv url: http://arxiv.org/abs/2002.03264v1
- Date: Sun, 9 Feb 2020 02:10:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 14:45:29.831548
- Title: GradMix: Multi-source Transfer across Domains and Tasks
- Title（参考訳）: GradMix: ドメインとタスク間の複数ソース転送
- Authors: Junnan Li, Ziwei Xu, Yongkang Wong, Qi Zhao, Mohan Kankanhalli
- Abstract要約: GradMixは、勾配に基づく学習規則で訓練されたモデルに適用できるモデルに依存しない手法である。
数値認識と行動認識の2つの課題についてMS-DTT実験を行った。
- 参考スコア（独自算出の注目度）: 33.98368732653684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The computer vision community is witnessing an unprecedented rate of new
tasks being proposed and addressed, thanks to the deep convolutional networks'
capability to find complex mappings from X to Y. The advent of each task often
accompanies the release of a large-scale annotated dataset, for supervised
training of deep network. However, it is expensive and time-consuming to
manually label sufficient amount of training data. Therefore, it is important
to develop algorithms that can leverage off-the-shelf labeled dataset to learn
useful knowledge for the target task. While previous works mostly focus on
transfer learning from a single source, we study multi-source transfer across
domains and tasks (MS-DTT), in a semi-supervised setting. We propose GradMix, a
model-agnostic method applicable to any model trained with gradient-based
learning rule, to transfer knowledge via gradient descent by weighting and
mixing the gradients from all sources during training. GradMix follows a
meta-learning objective, which assigns layer-wise weights to the source
gradients, such that the combined gradient follows the direction that minimize
the loss for a small set of samples from the target dataset. In addition, we
propose to adaptively adjust the learning rate for each mini-batch based on its
importance to the target task, and a pseudo-labeling method to leverage the
unlabeled samples in the target domain. We conduct MS-DTT experiments on two
tasks: digit recognition and action recognition, and demonstrate the
advantageous performance of the proposed method against multiple baselines.
- Abstract（参考訳）: コンピュータビジョンコミュニティは、XからYまでの複雑なマッピングを見つけるための深層畳み込みネットワークの能力のおかげで、提案され、対処される新しいタスクが前例のないペースで進んでいるのを目撃している。
しかし、十分な量のトレーニングデータを手動でラベル付けるのは高価で時間がかかります。
したがって、ターゲットタスクに有用な知識を学習するために、既製のラベル付きデータセットを活用できるアルゴリズムを開発することが重要である。
従来の研究は主に1つのソースからの転送学習に重点を置いているが、ドメインとタスク(ms-dtt)間のマルチソース転送を半教師ありで研究している。
グラデーションベース学習規則で学習されたモデルに適用可能なモデル非依存な手法であるgradmixを提案し,学習中のすべてのソースからのグラデーションを重み付け,混合することにより、グラデーション降下を通じて知識を伝達する。
GradMixは、ソース勾配に階層的な重みを割り当てるメタ学習目標に従っており、組み合わせた勾配は、ターゲットデータセットからの小さなサンプルセットの損失を最小限に抑える方向に従う。
また,対象課題に対する重要度に基づいて,各ミニバッチの学習率を適応的に調整する手法と,対象領域におけるラベルなしサンプルを活用する擬似ラベル法を提案する。
数値認識と行動認識という2つのタスクでMS-DTT実験を行い,提案手法の利点を実証した。
関連論文リスト
- Bayesian Uncertainty for Gradient Aggregation in Multi-Task Learning [39.4348419684885]
マルチタスク学習(MTL)は、複数のタスクを効率的に解決する単一のモデルを学習することを目的としている。
ベイジアン推論を用いた新しい勾配集約手法を提案する。
さまざまなデータセットで,アプローチのメリットを実証的に実証しています。
論文 参考訳（メタデータ） (2024-02-06T14:00:43Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳（メタデータ） (2023-03-02T17:32:11Z) - Improving Meta-Learning Generalization with Activation-Based
Early-Stopping [12.299371455015239]
数ショットの学習のためのメタラーニングアルゴリズムは、少数の例だけで新しいタスクに一般化できるニューラルネットワークを訓練することを目的としている。
早期停止は、新しいタスク分布に最適な一般化に達すると、モデルトレーニングを停止させる。
これは、メタテストセットが異なるターゲットデータセットから来る、数ショットの転送学習設定で問題となる。
論文 参考訳（メタデータ） (2022-08-03T22:55:45Z) - Continual Coarse-to-Fine Domain Adaptation in Semantic Segmentation [22.366638308792734]
ディープニューラルネットワークは通常、特定のタスクとデータ分散のために、単一のショットでトレーニングされる。
実際の環境では、タスクとアプリケーションドメインの両方が変更される可能性がある。
本稿では,ドメインシフトが存在する場合のセマンティックセグメンテーションアーキテクチャの粗大な学習という新たな課題を紹介する。
論文 参考訳（メタデータ） (2022-01-18T13:31:19Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Energy-Efficient and Federated Meta-Learning via Projected Stochastic
Gradient Ascent [79.58680275615752]
エネルギー効率のよいメタラーニングフレームワークを提案する。
各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
論文 参考訳（メタデータ） (2021-05-31T08:15:44Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z) - XMixup: Efficient Transfer Learning with Auxiliary Samples by
Cross-domain Mixup [60.07531696857743]
クロスドメイン・ミックスアップ(XMixup)は、深層移動学習のためのマルチタスクパラダイムを改善する。
XMixupはソースデータセットから補助サンプルを選択し、単純なミックスアップ戦略を通じてトレーニングサンプルを拡張する。
実験の結果、XMixupは平均で1.9%精度が向上した。
論文 参考訳（メタデータ） (2020-07-20T16:42:29Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳（メタデータ） (2020-06-16T22:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。