論文の概要: Boosting Multitask Learning on Graphs through Higher-Order Task Affinities

• arxiv url: http://arxiv.org/abs/2306.14009v1
• Date: Sat, 24 Jun 2023 15:53:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 17:42:29.949896
• Title: Boosting Multitask Learning on Graphs through Higher-Order Task Affinities
• Title（参考訳）: 高次タスクアフィニティによるグラフ上のマルチタスク学習の促進
• Authors: Dongyue Li, Haotian Ju, Aneesh Sharma, and Hongyang R. Zhang
• Abstract要約: 与えられたグラフ上のノードラベルの予測は、コミュニティ検出や分子グラフ予測など、多くのアプリケーションにおいて広く研究されている問題である。 本稿では,グラフ上の複数のノードラベリング関数を同時に予測し,マルチタスク学習の観点からこの問題を再考する。 我々は高次タスク親和性尺度に基づいて,タスクをグループにクラスタリングするアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 3.6150744605607756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting node labels on a given graph is a widely studied problem with many applications, including community detection and molecular graph prediction. This paper considers predicting multiple node labeling functions on graphs simultaneously and revisits this problem from a multitask learning perspective. For a concrete example, consider overlapping community detection: each community membership is a binary node classification task. Due to complex overlapping patterns, we find that negative transfer is prevalent when we apply naive multitask learning to multiple community detection, as task relationships are highly nonlinear across different node labeling. To address the challenge, we develop an algorithm to cluster tasks into groups based on a higher-order task affinity measure. We then fit a multitask model on each task group, resulting in a boosting procedure on top of the baseline model. We estimate the higher-order task affinity measure between two tasks as the prediction loss of one task in the presence of another task and a random subset of other tasks. Then, we use spectral clustering on the affinity score matrix to identify task grouping. We design several speedup techniques to compute the higher-order affinity scores efficiently and show that they can predict negative transfers more accurately than pairwise task affinities. We validate our procedure using various community detection and molecular graph prediction data sets, showing favorable results compared with existing methods. Lastly, we provide a theoretical analysis to show that under a planted block model of tasks on graphs, our affinity scores can provably separate tasks into groups.
• Abstract（参考訳）: 与えられたグラフ上のノードラベルの予測は、コミュニティ検出や分子グラフ予測など、多くのアプリケーションで広く研究されている問題である。 本稿では,グラフ上の複数のノードラベリング関数を同時に予測し,マルチタスク学習の観点からこの問題を再考する。 各コミュニティメンバシップはバイナリノード分類タスクである。 マルチタスク学習を複数のコミュニティ検出に適用した場合,タスク関係はノードのラベル付けによって非常に非線形であるため,複雑な重複パターンにより負の移動が頻繁に発生する。 この課題に対処するため,高次タスク親和性尺度に基づくグループにタスクをクラスタリングするアルゴリズムを開発した。 そして、各タスクグループにマルチタスクモデルを適合させ、ベースラインモデルの上にブースティング手順を発生させます。 他のタスクと他のタスクのランダムなサブセットの存在下での1つのタスクの予測損失として、2つのタスク間の高次タスク親和性測度を推定する。 次に,アフィニティスコア行列上のスペクトルクラスタリングを用いてタスクグルーピングを同定する。 高次アフィニティスコアを効率的に計算するための速度アップ手法をいくつか設計し,ペアワイズタスクアフィニティよりも高い精度で負の転送を予測できることを示した。 各種のコミュニティ検出および分子グラフ予測データセットを用いて,既存の手法と比較して良好な結果を得た。 最後に、グラフ上のタスクの植込みブロックモデルの下では、アフィニティスコアが確実にタスクをグループに分割できることを示す理論的分析を提供する。

関連論文リスト

• Identifying Task Groupings for Multi-Task Learning Using Pointwise V-Usable Information [11.545160697026514]
  ポイントワイド V-Uable Information (PVI) を用いたタスク難易度に基づくタスク関連度尺度を提案する。 我々は, 一般, バイオメディカル, 臨床領域において, 15個のNLPデータセットを用いたタスクグループ化の実現可能性を評価する実験を行った。
  論文  参考訳（メタデータ） (2024-10-16T17:49:45Z)
• Scalable Multitask Learning Using Gradient-based Estimation of Task Affinity [16.643892206707854]
  Grad-TAGは、様々なタスクの組み合わせからデータを繰り返し訓練することなく、タスク親和性を推定できる。 既存のアプローチと比較して,Grad-TAGは優れたパフォーマンスと実行時のトレードオフを実現していることを示す。
  論文  参考訳（メタデータ） (2024-09-09T21:59:27Z)
• Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks [58.65410800008769]
  本稿では、複数のグラフ事前学習タスク、Weigh And Select (WAS)を統合するための新しいインスタンスレベルフレームワークを提案する。 まず、カスタマイズされたインスタンスレベルのタスク重み付け戦略を学習したタスクプールから、各インスタンスのタスクの最適な組み合わせを適応的に学習する。 ノードレベルおよびグラフレベルのダウンストリームタスクにわたる16のグラフデータセットの実験は、WASが他の主要なタスクと同等のパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2024-03-03T05:29:49Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Association Graph Learning for Multi-Task Classification with Category Shifts [68.58829338426712]
  関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。 我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。 我々の手法は代表的基準よりも一貫して性能が良い。
  論文  参考訳（メタデータ） (2022-10-10T12:37:41Z)
• FAITH: Few-Shot Graph Classification with Hierarchical Task Graphs [39.576675425158754]
  少数ショットグラフ分類はグラフのクラスを予測することを目的としており、各クラスに限定されたラベル付きグラフが与えられる。 本稿では,階層的なタスクグラフを構築することにより,タスク相関をキャプチャする新しい数ショット学習フレームワークFAITHを提案する。 4つの一般的な数ショットグラフ分類データセットの実験は、他の最先端のベースラインよりもFAITHの方が優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-05T04:28:32Z)
• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• Multi-Relational Graph based Heterogeneous Multi-Task Learning in Community Question Answering [28.91133131424694]
  我々はHMTGIN(Heterogeneous Multi-Task Graph Isomorphism Network)と呼ばれるマルチリレーショナルグラフに基づくマルチタスク学習モデルを開発する。 各トレーニングフォワードパスでは、HMTGINは入力されたCQAフォーラムグラフをグラフ同型ネットワークの拡張によって埋め込み、接続をスキップする。 評価において、埋め込みは異なるタスク固有の出力層間で共有され、対応する予測を行う。
  論文  参考訳（メタデータ） (2021-09-04T03:19:20Z)
• Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation [95.72606536493548]
  複数の人の身体のキーポイントを同時にローカライズするため、複数の人物のポーズ推定は困難である。 ボトムアップ型多人数ポーズ推定タスクにおけるグラフグループ化を学習するための,新しい微分可能な階層グラフグループ化(HGG)手法を提案する。
  論文  参考訳（メタデータ） (2020-07-23T08:46:22Z)
• How Much and When Do We Need Higher-order Information in Hypergraphs? A Case Study on Hyperedge Prediction [15.912619060150861]
  最大n方向の相互作用に関する情報を蓄積するn-射影グラフの概念を用いて,グループ間相互作用を漸進的に表現する手法を提案する。 下流タスクとして、グラフモデルを評価するための標準的なタスクであるリンク予測の拡張であるハイパーエッジ予測を考える。
  論文  参考訳（メタデータ） (2020-01-30T05:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。