論文の概要: Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks

• arxiv url: http://arxiv.org/abs/2403.01400v1
• Date: Sun, 3 Mar 2024 05:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 21:35:07.232695
• Title: Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks
• Title（参考訳）: 複数のグラフ事前学習タスクの統合のための解離と選択
• Authors: Tianyu Fan, Lirong Wu, Yufei Huang, Haitao Lin, Cheng Tan, Zhangyang Gao, Stan Z. Li
• Abstract要約: 本稿では、複数のグラフ事前学習タスク、Weigh And Select (WAS)を統合するための新しいインスタンスレベルフレームワークを提案する。 まず、カスタマイズされたインスタンスレベルのタスク重み付け戦略を学習したタスクプールから、各インスタンスのタスクの最適な組み合わせを適応的に学習する。 ノードレベルおよびグラフレベルのダウンストリームタスクにわたる16のグラフデータセットの実験は、WASが他の主要なタスクと同等のパフォーマンスを達成できることを実証した。
• 参考スコア（独自算出の注目度）: 58.65410800008769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed the great success of graph pre-training for graph representation learning. With hundreds of graph pre-training tasks proposed, integrating knowledge acquired from multiple pre-training tasks has become a popular research topic. In this paper, we identify two important collaborative processes for this topic: (1) select: how to select an optimal task combination from a given task pool based on their compatibility, and (2) weigh: how to weigh the selected tasks based on their importance. While there currently has been a lot of work focused on weighing, comparatively little effort has been devoted to selecting. This paper proposes a novel instance-level framework for integrating multiple graph pre-training tasks, Weigh And Select (WAS), where the two collaborative processes, weighing and selecting, are combined by decoupled siamese networks. Specifically, it first adaptively learns an optimal combination of tasks for each instance from a given task pool, based on which a customized instance-level task weighing strategy is learned. Extensive experiments on 16 graph datasets across node-level and graph-level downstream tasks have demonstrated that by combining a few simple but classical tasks, WAS can achieve comparable performance to other leading counterparts. The code is available at https://github.com/TianyuFan0504/WAS.
• Abstract（参考訳）: 近年,グラフ表現学習におけるグラフ事前学習が大きな成功を収めている。 数百のグラフ事前学習タスクが提案され、複数の事前学習タスクから得られた知識の統合が一般的な研究テーマとなっている。 本稿では,(1)課題プールから最適なタスクの組み合わせをどのように選択するか,(2)重要度に応じたタスクの重み付けを行うか,という2つの重要な協調プロセスを明らかにする。 現在、重量に重点を置いた作業が数多く行われているが、選択に費やす労力は比較的少ない。 本稿では,重み付けと選択という2つの協調プロセスが分離されたsiameseネットワークによって結合される,複数のグラフ事前学習タスクである weigh and select (was) を統合するための新しいインスタンスレベルフレームワークを提案する。 具体的には、カスタマイズされたインスタンスレベルのタスク重み付け戦略に基づいて、与えられたタスクプールから各インスタンスのタスクの最適な組み合わせを適応的に学習する。 ノードレベルおよびグラフレベルのダウンストリームタスクにわたる16のグラフデータセットに関する大規模な実験は、いくつかの単純だが古典的なタスクを組み合わせることで、WASは他の主要なタスクと同等のパフォーマンスを達成できることを示した。 コードはhttps://github.com/tianyufan0504/wasで入手できる。

関連論文リスト

• Dual-level Mixup for Graph Few-shot Learning with Fewer Tasks [23.07584018576066]
  We propose a SiMple yet effectIve approach for graph few-shot Learning with fEwer task, named SMILE。 メタ学習において利用可能なノードとタスクを同時に強化するために、マルチレベルのミックスアップ戦略を導入し、タスク内とタスク間ミックスアップの両方を包含する。 経験的に言えば、SMILEは、ドメイン内設定とクロスドメイン設定で評価されたすべてのデータセットに対して、他の競合モデルよりも大きなマージンで、一貫して優れています。
  論文  参考訳（メタデータ） (2025-02-19T23:59:05Z)
• Coreset-Based Task Selection for Sample-Efficient Meta-Reinforcement Learning [1.2952597101899859]
  モデル非依存型メタ強化学習(MAML-RL)におけるサンプル効率向上のためのタスク選択の検討 勾配空間におけるタスクの多様性に基づいて,タスクの重み付きサブセットを選択する,コアセットベースのタスク選択手法を提案する。 複数のRLベンチマーク問題にまたがるこの傾向を数値的に検証し,LQRベースラインを越えたタスク選択の利点について考察した。
  論文  参考訳（メタデータ） (2025-02-04T14:09:00Z)
• Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
  グラフにおけるクロスタスクの一般性を学習するための新しいアプローチを提案する。 グラフ上のタスク空間を整列させるための基本的な学習インスタンスとしてタスクツリーを提案する。 その結果,グラフニューラルネットワークが多種多様なタスクツリーで事前訓練された場合,伝達可能な知識を取得することが示唆された。
  論文  参考訳（メタデータ） (2024-12-21T02:07:43Z)
• FastGAS: Fast Graph-based Annotation Selection for In-Context Learning [53.17606395275021]
  インコンテキスト学習(ICL)は、大規模言語モデル(LLM)に対して、一連のトレーニングインスタンスをプロンプトとして使用することにより、新しいタスクに対処する権限を与える。 既存の手法では、アノテーションのラベルなし例のサブセットを選択する方法が提案されている。 本稿では,高品質なインスタンスを効率的に識別するグラフベースの選択手法であるFastGASを提案する。
  論文  参考訳（メタデータ） (2024-06-06T04:05:54Z)
• Relational Multi-Task Learning: Modeling Relations between Data and Tasks [84.41620970886483]
  マルチタスク学習における主要な前提は、推論時にモデルが与えられたデータポイントにのみアクセスできるが、他のタスクからのデータポイントのラベルにはアクセスできないことである。 ここでは、補助的なタスクからデータポイントラベルを活用してより正確な予測を行う、新しいリレーショナルマルチタスク学習環境を提案する。 私たちはMetaLinkを開発し、そこではデータポイントとタスクを接続するナレッジグラフを構築します。
  論文  参考訳（メタデータ） (2023-03-14T07:15:41Z)
• FAITH: Few-Shot Graph Classification with Hierarchical Task Graphs [39.576675425158754]
  少数ショットグラフ分類はグラフのクラスを予測することを目的としており、各クラスに限定されたラベル付きグラフが与えられる。 本稿では,階層的なタスクグラフを構築することにより,タスク相関をキャプチャする新しい数ショット学習フレームワークFAITHを提案する。 4つの一般的な数ショットグラフ分類データセットの実験は、他の最先端のベースラインよりもFAITHの方が優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-05T04:28:32Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• Learned Weight Sharing for Deep Multi-Task Learning by Natural Evolution Strategy and Stochastic Gradient Descent [0.0]
  本稿では,共有重みとタスク固有の階層間の割り当てを学習するアルゴリズムを提案する。 学習は自然進化戦略と勾配降下の組み合わせによって行われる。 最終的な結果は、重みを共有しながら独立した推論を可能にするタスク固有のネットワークである。
  論文  参考訳（メタデータ） (2020-03-23T10:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。