論文の概要: A Recent Survey of Heterogeneous Transfer Learning
- arxiv url: http://arxiv.org/abs/2310.08459v3
- Date: Wed, 17 Jul 2024 20:56:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-20 00:02:04.571320
- Title: A Recent Survey of Heterogeneous Transfer Learning
- Title（参考訳）: 不均一トランスファー学習に関する最近の調査
- Authors: Runxue Bao, Yiming Sun, Yuhe Gao, Jindong Wang, Qiang Yang, Zhi-Hong Mao, Ye Ye,
- Abstract要約: 異種移動学習は 様々なタスクにおいて 重要な戦略となっている。
データベースとモデルベースの両方のアプローチを網羅した60以上のHTLメソッドの広範なレビューを提供する。
自然言語処理,コンピュータビジョン,マルチモーダル学習,バイオメディシンの応用について検討する。
- 参考スコア（独自算出の注目度）: 15.830786437956144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The application of transfer learning, leveraging knowledge from source domains to enhance model performance in a target domain, has significantly grown, supporting diverse real-world applications. Its success often relies on shared knowledge between domains, typically required in these methodologies. Commonly, methods assume identical feature and label spaces in both domains, known as homogeneous transfer learning. However, this is often impractical as source and target domains usually differ in these spaces, making precise data matching challenging and costly. Consequently, heterogeneous transfer learning (HTL), which addresses these disparities, has become a vital strategy in various tasks. In this paper, we offer an extensive review of over 60 HTL methods, covering both data-based and model-based approaches. We describe the key assumptions and algorithms of these methods and systematically categorize them into instance-based, feature representation-based, parameter regularization, and parameter tuning techniques. Additionally, we explore applications in natural language processing, computer vision, multimodal learning, and biomedicine, aiming to deepen understanding and stimulate further research in these areas. Our paper includes recent advancements in HTL, such as the introduction of transformer-based models and multimodal learning techniques, ensuring the review captures the latest developments in the field. We identify key limitations in current HTL studies and offer systematic guidance for future research, highlighting areas needing further exploration and suggesting potential directions for advancing the field.
- Abstract（参考訳）: 伝達学習の応用は、ソースドメインからの知識を活用し、ターゲットドメインにおけるモデルパフォーマンスを向上させることで、様々な現実世界のアプリケーションをサポートするように大きく成長している。
その成功はしばしばドメイン間の共有知識に依存し、通常はこれらの方法論で必要とされる。
一般に、同種移動学習(homogeneous transfer learning)として知られる、両方の領域における同一の特徴とラベル空間を仮定する。
しかし、ソースとターゲットドメインは通常これらの空間で異なるため、正確なデータマッチングが困難でコストがかかるため、これは現実的ではないことが多い。
その結果、これらの格差に対処するヘテロジニアストランスファーラーニング(HTL)は、様々なタスクにおいて重要な戦略となっている。
本稿では,60以上のHTL手法を概説し,データベースとモデルベースの両方のアプローチについて述べる。
これらの手法の重要な仮定とアルゴリズムを説明し、それらをインスタンスベース、特徴表現ベース、パラメータ正規化、パラメータチューニング技術に体系的に分類する。
さらに、自然言語処理、コンピュータビジョン、マルチモーダル学習、バイオメディシンの応用を探求し、これらの領域の理解を深め、さらなる研究を促進することを目的としている。
本稿では,近年のHTLの進歩,例えばトランスフォーマーモデルの導入やマルチモーダル学習技術について述べる。
我々は,現在のHTL研究における重要な限界を特定し,今後の研究のための体系的なガイダンスを提供し,さらなる探索を必要とする領域を強調し,分野を前進させるための潜在的方向を提案する。
関連論文リスト
- Adaptive Meta-Domain Transfer Learning (AMDTL): A Novel Approach for Knowledge Transfer in AI [0.0]
AMDTLは、ドメインのミスアライメント、負の転送、破滅的な忘れなど、トランスファーラーニングの主な課題に対処することを目的としている。
このフレームワークは、タスクの多様な分散に訓練されたメタラーナー、ドメインの特徴分布を整合させる敵のトレーニング技術、動的特徴制御機構を統合している。
ベンチマークデータセットによる実験結果から,AMDTLは既存の移動学習手法よりも精度,適応効率,堅牢性に優れていた。
論文 参考訳（メタデータ） (2024-09-10T18:11:48Z) - Domain Generalization through Meta-Learning: A Survey [6.524870790082051]
ディープニューラルネットワーク(DNN)は人工知能に革命をもたらしたが、アウト・オブ・ディストリビューション(OOD)データに直面すると、しばしばパフォーマンスが低下する。
本調査はメタラーニングの領域を掘り下げ,ドメインの一般化への貢献に焦点をあてたものである。
論文 参考訳（メタデータ） (2024-04-03T14:55:17Z) - NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。
本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。
テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
論文 参考訳（メタデータ） (2023-07-25T13:35:45Z) - Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised
Domain Adaptation [70.85686267987744]
教師なしのドメイン適応問題は、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することができる。
本稿では、翻訳された知識の謎を視覚的に明らかにする最初の試みとして、教師なしドメイン適応の解釈モデルを提案する。
提案手法は,ベースモデルの予測を直感的に説明し,画像パッチをソースドメインとターゲットドメインの両方で同一のセマンティクスとマッチングすることで伝達知識を公開する。
論文 参考訳（メタデータ） (2023-03-04T03:02:12Z) - A Comprehensive Survey on Source-free Domain Adaptation [69.17622123344327]
ソースフリードメイン適応(SFDA)の研究は近年注目を集めている。
SFDAの最近の進歩を包括的に調査し、それらを統一的な分類体系に整理する。
一般的な3つの分類基準で30以上のSFDA法を比較検討した。
論文 参考訳（メタデータ） (2023-02-23T06:32:09Z) - Label-efficient Time Series Representation Learning: A Review [19.218833228063392]
ラベル効率のよい時系列表現学習は、現実世界のアプリケーションにディープラーニングモデルをデプロイするのに不可欠である。
ラベル付き時系列データの不足に対処するため、転送学習、自己教師付き学習、半教師付き学習など様々な戦略が開発されている。
既存のアプローチを,外部データソースへの依存に基づいて,ドメイン内あるいはクロスドメインとして分類する,新たな分類法を初めて導入する。
論文 参考訳（メタデータ） (2023-02-13T15:12:15Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳（メタデータ） (2022-02-10T06:23:56Z) - Domain Generalization: A Survey [146.68420112164577]
ドメイン一般化(DG)は、モデル学習にソースドメインデータを使用するだけでOOD一般化を実現することを目的としています。
初めて、DGの10年の開発をまとめるために包括的な文献レビューが提供されます。
論文 参考訳（メタデータ） (2021-03-03T16:12:22Z) - A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。
多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。
限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
論文 参考訳（メタデータ） (2020-09-01T00:06:50Z) - Physically-Constrained Transfer Learning through Shared Abundance Space
for Hyperspectral Image Classification [14.840925517957258]
本稿では、ソースとターゲットドメイン間のギャップを埋める新しい転送学習手法を提案する。
提案手法は,共有空間を経由した物理制約付き移動学習と呼ばれる。
論文 参考訳（メタデータ） (2020-08-19T17:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。