論文の概要: Enhancing Molecular Property Prediction with Auxiliary Learning and Task-Specific Adaptation

• arxiv url: http://arxiv.org/abs/2401.16299v1
• Date: Mon, 29 Jan 2024 17:00:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 14:04:45.681106
• Title: Enhancing Molecular Property Prediction with Auxiliary Learning and Task-Specific Adaptation
• Title（参考訳）: 補助学習とタスク特化適応による分子特性予測の強化
• Authors: Vishal Dey and Xia Ning
• Abstract要約: 我々は,複数の補助タスクで協調的に学習することで,事前学習したGNNを目標タスクに適応させる方法について検討する。 主な課題は、目標タスクと補助タスクの関連性を決定することである。 最先端の事前訓練GNNを用いた実験は,提案手法の有効性を実証し,微調整よりも最大7.7%改善した。
• 参考スコア（独自算出の注目度）: 0.7070726553564699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained Graph Neural Networks have been widely adopted for various molecular property prediction tasks. Despite their ability to encode structural and relational features of molecules, traditional fine-tuning of such pretrained GNNs on the target task can lead to poor generalization. To address this, we explore the adaptation of pretrained GNNs to the target task by jointly training them with multiple auxiliary tasks. This could enable the GNNs to learn both general and task-specific features, which may benefit the target task. However, a major challenge is to determine the relatedness of auxiliary tasks with the target task. To address this, we investigate multiple strategies to measure the relevance of auxiliary tasks and integrate such tasks by adaptively combining task gradients or by learning task weights via bi-level optimization. Additionally, we propose a novel gradient surgery-based approach, Rotation of Conflicting Gradients ($\mathtt{RCGrad}$), that learns to align conflicting auxiliary task gradients through rotation. Our experiments with state-of-the-art pretrained GNNs demonstrate the efficacy of our proposed methods, with improvements of up to 7.7% over fine-tuning. This suggests that incorporating auxiliary tasks along with target task fine-tuning can be an effective way to improve the generalizability of pretrained GNNs for molecular property prediction.
• Abstract（参考訳）: 事前学習されたグラフニューラルネットワークは様々な分子特性予測タスクに広く採用されている。 分子の構造的および関係的特徴を符号化する能力があるにもかかわらず、そのような事前訓練されたGNNを目標タスクで微調整することは、一般化の貧弱につながる。 そこで本研究では,複数タスクの協調学習により,事前学習したGNNの目標タスクへの適応について検討する。 これにより、GNNは一般的な機能とタスク固有の機能の両方を学ぶことができる。 しかしながら、主な課題は、対象タスクと補助タスクの関連性を決定することである。 そこで本研究では,タスクの勾配を適応的に組み合わせたり,タスク重みをバイレベル最適化によって学習することで,補助タスクの関連性を計測し,タスクを統合するための複数の戦略を検討する。 さらに, 係り合う補助的作業勾配を回転によって整合させることを学習する, 新たな勾配手術ベースのアプローチ, Rotation of Conflicting Gradients(\mathtt{RCGrad}$)を提案する。 最先端の事前訓練GNNを用いた実験は,提案手法の有効性を実証し,微調整よりも最大7.7%改善した。 このことは, 分子特性予測のための事前学習されたGNNの一般化性向上に有効な手法として, 目的タスクの微調整とともに補助タスクを組み込むことが示唆された。

関連論文リスト

• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• AANG: Automating Auxiliary Learning [110.36191309793135]
  補助目的の集合を自動生成する手法を提案する。 我々は、新しい統合分類体系の中で既存の目的を分解し、それらの関係を識別し、発見された構造に基づいて新しい目的を創出することで、これを実現する。 これにより、生成された目的物の空間を探索し、指定されたエンドタスクに最も有用なものを見つけるための、原理的かつ効率的なアルゴリズムが導かれる。
  論文  参考訳（メタデータ） (2022-05-27T16:32:28Z)
• MetaBalance: Improving Multi-Task Recommendations via Adapting Gradient Magnitudes of Auxiliary Tasks [19.606256087873028]
  マルチタスクネットワークにおける勾配の操作による補助損失のバランスをとるために,MetaBalanceを提案する。 提案手法は,NDCG@10で8.34%の大幅な改善を実現し,実世界の2つのデータセット上で最強のベースラインを達成した。
  論文  参考訳（メタデータ） (2022-03-14T01:08:31Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。 近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。 本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
  論文  参考訳（メタデータ） (2021-07-19T11:46:28Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。