論文の概要: Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks

• arxiv url: http://arxiv.org/abs/2403.01400v1
• Date: Sun, 3 Mar 2024 05:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 21:35:07.232695
• Title: Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks
• Title（参考訳）: 複数のグラフ事前学習タスクの統合のための解離と選択
• Authors: Tianyu Fan, Lirong Wu, Yufei Huang, Haitao Lin, Cheng Tan, Zhangyang Gao, Stan Z. Li
• Abstract要約: 本稿では、複数のグラフ事前学習タスク、Weigh And Select (WAS)を統合するための新しいインスタンスレベルフレームワークを提案する。 まず、カスタマイズされたインスタンスレベルのタスク重み付け戦略を学習したタスクプールから、各インスタンスのタスクの最適な組み合わせを適応的に学習する。 ノードレベルおよびグラフレベルのダウンストリームタスクにわたる16のグラフデータセットの実験は、WASが他の主要なタスクと同等のパフォーマンスを達成できることを実証した。
• 参考スコア（独自算出の注目度）: 58.65410800008769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed the great success of graph pre-training for graph representation learning. With hundreds of graph pre-training tasks proposed, integrating knowledge acquired from multiple pre-training tasks has become a popular research topic. In this paper, we identify two important collaborative processes for this topic: (1) select: how to select an optimal task combination from a given task pool based on their compatibility, and (2) weigh: how to weigh the selected tasks based on their importance. While there currently has been a lot of work focused on weighing, comparatively little effort has been devoted to selecting. This paper proposes a novel instance-level framework for integrating multiple graph pre-training tasks, Weigh And Select (WAS), where the two collaborative processes, weighing and selecting, are combined by decoupled siamese networks. Specifically, it first adaptively learns an optimal combination of tasks for each instance from a given task pool, based on which a customized instance-level task weighing strategy is learned. Extensive experiments on 16 graph datasets across node-level and graph-level downstream tasks have demonstrated that by combining a few simple but classical tasks, WAS can achieve comparable performance to other leading counterparts. The code is available at https://github.com/TianyuFan0504/WAS.
• Abstract（参考訳）: 近年,グラフ表現学習におけるグラフ事前学習が大きな成功を収めている。 数百のグラフ事前学習タスクが提案され、複数の事前学習タスクから得られた知識の統合が一般的な研究テーマとなっている。 本稿では,(1)課題プールから最適なタスクの組み合わせをどのように選択するか,(2)重要度に応じたタスクの重み付けを行うか,という2つの重要な協調プロセスを明らかにする。 現在、重量に重点を置いた作業が数多く行われているが、選択に費やす労力は比較的少ない。 本稿では,重み付けと選択という2つの協調プロセスが分離されたsiameseネットワークによって結合される,複数のグラフ事前学習タスクである weigh and select (was) を統合するための新しいインスタンスレベルフレームワークを提案する。 具体的には、カスタマイズされたインスタンスレベルのタスク重み付け戦略に基づいて、与えられたタスクプールから各インスタンスのタスクの最適な組み合わせを適応的に学習する。 ノードレベルおよびグラフレベルのダウンストリームタスクにわたる16のグラフデータセットに関する大規模な実験は、いくつかの単純だが古典的なタスクを組み合わせることで、WASは他の主要なタスクと同等のパフォーマンスを達成できることを示した。 コードはhttps://github.com/tianyufan0504/wasで入手できる。

関連論文リスト

• FastGAS: Fast Graph-based Annotation Selection for In-Context Learning [53.17606395275021]
  インコンテキスト学習(ICL)は、大規模言語モデル(LLM)に対して、一連のトレーニングインスタンスをプロンプトとして使用することにより、新しいタスクに対処する権限を与える。 既存の手法では、アノテーションのラベルなし例のサブセットを選択する方法が提案されている。 本稿では,高品質なインスタンスを効率的に識別するグラフベースの選択手法であるFastGASを提案する。
  論文  参考訳（メタデータ） (2024-06-06T04:05:54Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Boosting Multitask Learning on Graphs through Higher-Order Task Affinities [17.70434437597516]
  与えられたグラフ上のノードラベルの予測は、コミュニティ検出や分子グラフ予測など、多くのアプリケーションにおいて広く研究されている問題である。 本稿では,グラフ上の複数のノードラベリング関数を同時に予測し,マルチタスク学習の観点からこの問題を再考する。 我々は高次タスク親和性尺度に基づいて,タスクをグループにクラスタリングするアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-06-24T15:53:38Z)
• Relational Multi-Task Learning: Modeling Relations between Data and Tasks [84.41620970886483]
  マルチタスク学習における主要な前提は、推論時にモデルが与えられたデータポイントにのみアクセスできるが、他のタスクからのデータポイントのラベルにはアクセスできないことである。 ここでは、補助的なタスクからデータポイントラベルを活用してより正確な予測を行う、新しいリレーショナルマルチタスク学習環境を提案する。 私たちはMetaLinkを開発し、そこではデータポイントとタスクを接続するナレッジグラフを構築します。
  論文  参考訳（メタデータ） (2023-03-14T07:15:41Z)
• Association Graph Learning for Multi-Task Classification with Category Shifts [68.58829338426712]
  関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。 我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。 我々の手法は代表的基準よりも一貫して性能が良い。
  論文  参考訳（メタデータ） (2022-10-10T12:37:41Z)
• FAITH: Few-Shot Graph Classification with Hierarchical Task Graphs [39.576675425158754]
  少数ショットグラフ分類はグラフのクラスを予測することを目的としており、各クラスに限定されたラベル付きグラフが与えられる。 本稿では,階層的なタスクグラフを構築することにより,タスク相関をキャプチャする新しい数ショット学習フレームワークFAITHを提案する。 4つの一般的な数ショットグラフ分類データセットの実験は、他の最先端のベースラインよりもFAITHの方が優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-05T04:28:32Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• Learned Weight Sharing for Deep Multi-Task Learning by Natural Evolution Strategy and Stochastic Gradient Descent [0.0]
  本稿では,共有重みとタスク固有の階層間の割り当てを学習するアルゴリズムを提案する。 学習は自然進化戦略と勾配降下の組み合わせによって行われる。 最終的な結果は、重みを共有しながら独立した推論を可能にするタスク固有のネットワークである。
  論文  参考訳（メタデータ） (2020-03-23T10:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。