論文の概要: Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation
- arxiv url: http://arxiv.org/abs/2204.05104v2
- Date: Mon, 15 Jan 2024 10:48:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 04:10:49.912132
- Title: Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation
- Title（参考訳）: マルチソースドメイン適応のための自己改善グラフニューラルネットワーク
- Authors: Jin Yuan, Feng Hou, Yangzhou Du, Zhongchao Shi, Xin Geng, Jianping
Fan, Yong Rui
- Abstract要約: ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。
大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。
我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
- 参考スコア（独自算出の注目度）: 51.21190751266442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain adaptation (DA) tries to tackle the scenarios when the test data does
not fully follow the same distribution of the training data, and multi-source
domain adaptation (MSDA) is very attractive for real world applications. By
learning from large-scale unlabeled samples, self-supervised learning has now
become a new trend in deep learning. It is worth noting that both
self-supervised learning and multi-source domain adaptation share a similar
goal: they both aim to leverage unlabeled data to learn more expressive
representations. Unfortunately, traditional multi-task self-supervised learning
faces two challenges: (1) the pretext task may not strongly relate to the
downstream task, thus it could be difficult to learn useful knowledge being
shared from the pretext task to the target task; (2) when the same feature
extractor is shared between the pretext task and the downstream one and only
different prediction heads are used, it is ineffective to enable inter-task
information exchange and knowledge sharing. To address these issues, we propose
a novel \textbf{S}elf-\textbf{S}upervised \textbf{G}raph Neural Network (SSG),
where a graph neural network is used as the bridge to enable more effective
inter-task information exchange and knowledge sharing. More expressive
representation is learned by adopting a mask token strategy to mask some domain
information. Our extensive experiments have demonstrated that our proposed SSG
method has achieved state-of-the-art results over four multi-source domain
adaptation datasets, which have shown the effectiveness of our proposed SSG
method from different aspects.
- Abstract（参考訳）: ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合と、マルチソースドメイン適応(MSDA)が現実世界のアプリケーションにとって非常に魅力的な場合のシナリオに取り組む。
大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。
自己教師付き学習とマルチソースドメイン適応の両方が、同じような目標を共有している点に注意が必要だ。
残念なことに,従来のマルチタスク型自己教師型学習では,(1)プリテキストタスクが下流タスクと強く関係しない場合があり,(2)プリテキストタスクから目標タスクに共有される有用な知識の習得が困難である場合,(2)同じ特徴抽出器がプリテキストタスクと下流タスクの間で共有され,異なる予測ヘッドのみが使用される場合,タスク間の情報交換と知識共有が不可能である場合,2つの課題に直面している。
そこで本研究では,より効果的なタスク間情報交換と知識共有を実現するために,グラフニューラルネットワークを橋渡しとして使用する新しい \textbf{s}elf-\textbf{s}upervised \textbf{g}raph neural network (ssg)を提案する。
より表現力のある表現は、いくつかのドメイン情報をマスクするためにマスクトークン戦略を採用することで学べる。
提案するssg法の有効性を示す4つの多ソースドメイン適応データセットについて,提案手法が最先端の結果を得たことを示す実験を行った。
関連論文リスト
- Prompt-Based Spatio-Temporal Graph Transfer Learning [22.855189872649376]
本稿では,データスカース領域における多変数タスクに適応可能なプロンプトベースのフレームワークを提案する。
2段階のパイプラインでドメインとタスクの転送を実現するために、学習可能なプロンプトを採用しています。
実験の結果,STGPは3つのタスクの予測,クリギング,外挿において,最先端のベースラインよりも10.7%向上していることがわかった。
論文 参考訳（メタデータ） (2024-05-21T02:06:40Z) - Direct Distillation between Different Domains [97.39470334253163]
異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。
まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。
次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
論文 参考訳（メタデータ） (2024-01-12T02:48:51Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。
また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-23T12:11:13Z) - Unsupervised Domain Adaptation on Person Re-Identification via
Dual-level Asymmetric Mutual Learning [108.86940401125649]
本稿では,多種多様な埋め込み空間を持つより広い知識領域から識別的表現を学習するための,DAML(Dual-level Asymmetric Mutual Learning)を提案する。
2つのネットワーク間の知識伝達は、非対称な相互学習方式に基づいている。
Market-1501、CUHK-SYSU、MSMT17の公開データセットにおける実験は、最先端技術よりもDAMLの方が優れていることを証明した。
論文 参考訳（メタデータ） (2023-01-29T12:36:17Z) - Deep transfer learning for partial differential equations under
conditional shift with DeepONet [0.0]
深層演算子ネットワーク(DeepONet)を用いた条件シフト下でのタスク固有学習のための新しいTLフレームワークを提案する。
条件埋め込み演算子理論に触発されて、ソース領域とターゲット特徴領域の間の統計的距離を測定する。
提案するTLフレームワークは,ソースドメインとターゲットドメインの間に大きな違いがあるにも関わらず,高速かつ効率的なマルチタスク演算子学習を可能にする。
論文 参考訳（メタデータ） (2022-04-20T23:23:38Z) - Learning Downstream Task by Selectively Capturing Complementary
Knowledge from Multiple Self-supervisedly Learning Pretexts [20.764378638979704]
本稿では,タスクに適した表現を適応的に絞り込むために,アテンション機構を活用する新しい手法を提案する。
本手法は,知識収集において,現在普及しているテキストマッチング手法をはるかに上回っている。
論文 参考訳（メタデータ） (2022-04-11T16:46:50Z) - Counting with Adaptive Auxiliary Learning [23.715818463425503]
本稿では,オブジェクトカウント問題に対する適応型補助的タスク学習に基づくアプローチを提案する。
本研究では,タスク共有とタスクカスタマイズの両機能学習を実現するために,アダプティブ・アダプティブ・アダプティブ・共有バックボーンネットワークを開発した。
本手法は,現在最先端のタスク学習に基づくカウント手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-03-08T13:10:17Z) - Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。
近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。
本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
論文 参考訳（メタデータ） (2021-07-19T11:46:28Z) - Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。
本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。
ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
論文 参考訳（メタデータ） (2021-04-01T23:41:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。