論文の概要: Relational Multi-Task Learning: Modeling Relations between Data and Tasks

• arxiv url: http://arxiv.org/abs/2303.07666v1
• Date: Tue, 14 Mar 2023 07:15:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 16:06:39.078781
• Title: Relational Multi-Task Learning: Modeling Relations between Data and Tasks
• Title（参考訳）: 関係型マルチタスク学習:データとタスクの関係のモデリング
• Authors: Kaidi Cao, Jiaxuan You, Jure Leskovec
• Abstract要約: マルチタスク学習における主要な前提は、推論時にモデルが与えられたデータポイントにのみアクセスできるが、他のタスクからのデータポイントのラベルにはアクセスできないことである。 ここでは、補助的なタスクからデータポイントラベルを活用してより正確な予測を行う、新しいリレーショナルマルチタスク学習環境を提案する。 私たちはMetaLinkを開発し、そこではデータポイントとタスクを接続するナレッジグラフを構築します。
• 参考スコア（独自算出の注目度）: 84.41620970886483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key assumption in multi-task learning is that at the inference time the multi-task model only has access to a given data point but not to the data point's labels from other tasks. This presents an opportunity to extend multi-task learning to utilize data point's labels from other auxiliary tasks, and this way improves performance on the new task. Here we introduce a novel relational multi-task learning setting where we leverage data point labels from auxiliary tasks to make more accurate predictions on the new task. We develop MetaLink, where our key innovation is to build a knowledge graph that connects data points and tasks and thus allows us to leverage labels from auxiliary tasks. The knowledge graph consists of two types of nodes: (1) data nodes, where node features are data embeddings computed by the neural network, and (2) task nodes, with the last layer's weights for each task as node features. The edges in this knowledge graph capture data-task relationships, and the edge label captures the label of a data point on a particular task. Under MetaLink, we reformulate the new task as a link label prediction problem between a data node and a task node. The MetaLink framework provides flexibility to model knowledge transfer from auxiliary task labels to the task of interest. We evaluate MetaLink on 6 benchmark datasets in both biochemical and vision domains. Experiments demonstrate that MetaLink can successfully utilize the relations among different tasks, outperforming the state-of-the-art methods under the proposed relational multi-task learning setting, with up to 27% improvement in ROC AUC.
• Abstract（参考訳）: マルチタスク学習における重要な前提は、推論時にマルチタスクモデルが与えられたデータポイントにのみアクセスできるが、他のタスクからのデータポイントのラベルにアクセスできないことである。 これにより、マルチタスク学習を拡張して、データポイントラベルを他の補助タスクから活用する機会が得られ、新しいタスクの性能が向上する。 本稿では,補助タスクからデータポイントラベルを活用し,新しいタスクの正確な予測を行う,新しいリレーショナルマルチタスク学習設定を提案する。 私たちはmetalinkを開発し、データポイントとタスクをつなぐナレッジグラフを構築することで、補助的なタスクからラベルを活用することができます。 ナレッジグラフは、(1)ノードの特徴がニューラルネットワークによって計算されたデータ埋め込みであるデータノード、(2)タスクノードの2つのタイプのノードで構成される。 この知識グラフのエッジはデータとタスクの関係をキャプチャし、エッジラベルは特定のタスク上のデータポイントのラベルをキャプチャする。 MetaLinkでは,データノードとタスクノード間のリンクラベル予測問題として,新しいタスクを再構成する。 metalinkフレームワークは、補助的なタスクラベルから関心のあるタスクへの知識転送をモデル化する柔軟性を提供します。 我々は生化学領域と視覚領域の両方で6つのベンチマークデータセットでmetalinkを評価する。 実験により、MetaLinkは様々なタスク間の関係をうまく利用でき、提案した関係マルチタスク学習環境下で最先端の手法より優れており、ROC AUCでは最大27%改善されている。

関連論文リスト

• Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks [58.65410800008769]
  本稿では、複数のグラフ事前学習タスク、Weigh And Select (WAS)を統合するための新しいインスタンスレベルフレームワークを提案する。 まず、カスタマイズされたインスタンスレベルのタスク重み付け戦略を学習したタスクプールから、各インスタンスのタスクの最適な組み合わせを適応的に学習する。 ノードレベルおよびグラフレベルのダウンストリームタスクにわたる16のグラフデータセットの実験は、WASが他の主要なタスクと同等のパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2024-03-03T05:29:49Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Graph Few-shot Learning with Task-specific Structures [38.52226241144403]
  既存のグラフ数ショット学習手法は一般的にグラフニューラルネットワーク(GNN)を利用する メタタスクごとにタスク固有の構造を学習する新しいフレームワークを提案する。 このようにして、各メタタスクに適したタスク固有の構造を持つノード表現を学習することができる。
  論文  参考訳（メタデータ） (2022-10-21T17:40:21Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Association Graph Learning for Multi-Task Classification with Category Shifts [68.58829338426712]
  関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。 我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。 我々の手法は代表的基準よりも一貫して性能が良い。
  論文  参考訳（メタデータ） (2022-10-10T12:37:41Z)
• Learning Multiple Dense Prediction Tasks from Partially Annotated Data [41.821234589075445]
  マルチタスク部分教師付き学習(multi-task part-supervised learning)と呼ぶ部分注釈付きデータ上で,複数の密接な予測タスクを共同で学習する。 本稿では,タスク関係を利用したマルチタスク学習手法を提案する。 提案手法は,既存の半教師付き学習手法や関連手法を3つの標準ベンチマークで上回り,非ラベルなタスクで効果的に活用できることを厳密に実証する。
  論文  参考訳（メタデータ） (2021-11-29T19:03:12Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)
• Deep Multi-Task Augmented Feature Learning via Hierarchical Graph Neural Network [4.121467410954028]
  深層マルチタスク学習のための拡張機能を学習するための階層型グラフニューラルネットワークを提案する。 実世界のデータステスの実験では、この戦略を使用する際の大幅なパフォーマンス向上が示されている。
  論文  参考訳（メタデータ） (2020-02-12T06:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。