Fugu-MT 論文翻訳(概要): Adaptive Transfer Learning on Graph Neural Networks

論文の概要: Adaptive Transfer Learning on Graph Neural Networks

arxiv url: http://arxiv.org/abs/2107.08765v2
Date: Tue, 20 Jul 2021 05:49:52 GMT
ステータス: 処理完了
システム内更新日: 2021-07-21 12:10:32.643092
Title: Adaptive Transfer Learning on Graph Neural Networks
Title（参考訳）: グラフニューラルネットワークによる適応伝達学習
Authors: Xueting Han, Zhenhuan Huang, Bang An, Jing Bai
Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
参考スコア（独自算出の注目度）: 4.233435459239147
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graph neural networks (GNNs) is widely used to learn a powerful representation of graph-structured data. Recent work demonstrates that transferring knowledge from self-supervised tasks to downstream tasks could further improve graph representation. However, there is an inherent gap between self-supervised tasks and downstream tasks in terms of optimization objective and training data. Conventional pre-training methods may be not effective enough on knowledge transfer since they do not make any adaptation for downstream tasks. To solve such problems, we propose a new transfer learning paradigm on GNNs which could effectively leverage self-supervised tasks as auxiliary tasks to help the target task. Our methods would adaptively select and combine different auxiliary tasks with the target task in the fine-tuning stage. We design an adaptive auxiliary loss weighting model to learn the weights of auxiliary tasks by quantifying the consistency between auxiliary tasks and the target task. In addition, we learn the weighting model through meta-learning. Our methods can be applied to various transfer learning approaches, it performs well not only in multi-task learning but also in pre-training and fine-tuning. Comprehensive experiments on multiple downstream tasks demonstrate that the proposed methods can effectively combine auxiliary tasks with the target task and significantly improve the performance compared to state-of-the-art methods.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。最近の研究は、自己教師型タスクから下流タスクへの知識伝達がグラフ表現をさらに改善することを示した。しかし、最適化目標とトレーニングデータの観点からは、自己監督タスクと下流タスクの間には固有のギャップがある。従来の事前学習方法は、下流のタスクに適応しないため、知識伝達に十分な効果が得られない。そこで本研究では,gnn上での自己教師付きタスクを補助タスクとして効果的に活用し,対象タスクを支援する新しいトランスファー学習パラダイムを提案する。提案手法は,微調整段階において,異なる補助タスクと目標タスクを適応的に選択・結合する。補助タスクと対象タスクの整合性を定量化し,補助タスクの重み付けを学習するための適応補助損失重み付けモデルを設計する。さらに,メタ学習を通じて重み付けモデルを学習する。本手法は,多タスク学習だけでなく,事前学習や微調整にも有効である。複数の下流タスクに対する総合的な実験により,提案手法は目標タスクと補助タスクを効果的に組み合わせ,最先端手法と比較して性能を著しく向上できることを示した。

関連論文リスト

$α$VIL: Learning to Leverage Auxiliary Tasks for Multitask Learning [3.809702129519642]
マルチタスク学習は、共有モデルの助けを借りて、さまざまな(通常は関連する)タスクをトレーニングすることを目的としている。目標に有する正あるいは負の影響を推定することが重要である。本稿では,モデル学習中にタスク重みを動的に調整できる「$alpha$Variable Learning」(「alpha$VIL」)という新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-13T14:12:33Z)
PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
論文参考訳（メタデータ） (2024-02-23T03:59:18Z)
Enhancing Molecular Property Prediction with Auxiliary Learning and Task-Specific Adaptation [0.7070726553564699]
我々は,複数の補助タスクで協調的に学習することで,事前学習したGNNを目標タスクに適応させる方法について検討する。主な課題は、目標タスクと補助タスクの関連性を決定することである。最先端の事前訓練GNNを用いた実験は,提案手法の有効性を実証し,微調整よりも最大7.7%改善した。
論文参考訳（メタデータ） (2024-01-29T17:00:28Z)
ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文参考訳（メタデータ） (2023-01-30T02:27:02Z)
An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
論文参考訳（メタデータ） (2022-10-21T04:36:46Z)
Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文参考訳（メタデータ） (2022-10-13T17:59:16Z)
Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文参考訳（メタデータ） (2022-09-19T12:15:31Z)
A Unified Meta-Learning Framework for Dynamic Transfer Learning [42.34180707803632]
動的タスクにおける知識伝達可能性のモデリングのための汎用メタ学習フレームワークL2Eを提案する。 L2E は,(1) 動的タスク間の効果的な知識伝達可能性,(2) 新しい目標タスクへの迅速な適応,(3) 歴史的目標タスクに対する破滅的な忘れの軽減,(4) 既存の静的移動学習アルゴリズムを取り入れた柔軟性,といった特性を享受している。
論文参考訳（メタデータ） (2022-07-05T02:56:38Z)
Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
論文参考訳（メタデータ） (2021-11-02T01:50:09Z)
Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文参考訳（メタデータ） (2021-05-17T13:42:09Z)
Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。