論文の概要: Exploring Correlations of Self-supervised Tasks for Graphs
- arxiv url: http://arxiv.org/abs/2405.04245v1
- Date: Tue, 7 May 2024 12:02:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 14:20:03.695892
- Title: Exploring Correlations of Self-supervised Tasks for Graphs
- Title（参考訳）: グラフのための自己教師型タスクの相関関係の探索
- Authors: Taoran Fang, Wei Zhou, Yifei Sun, Kaiqiao Han, Lvbin Ma, Yang Yang,
- Abstract要約: 本稿では,タスク相関に基づくグラフ自己教師型学習を新たに理解することを目的とする。
我々は,ある特定のタスクによって訓練された他のタスクにおける表現の性能を評価し,タスク相関を定量化するための相関値を定義した。
本稿では,タスク相関を説明するグラフタスク相関モデリング(GraphTCM)を提案する。
- 参考スコア（独自算出の注目度）: 6.977921096191354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph self-supervised learning has sparked a research surge in training informative representations without accessing any labeled data. However, our understanding of graph self-supervised learning remains limited, and the inherent relationships between various self-supervised tasks are still unexplored. Our paper aims to provide a fresh understanding of graph self-supervised learning based on task correlations. Specifically, we evaluate the performance of the representations trained by one specific task on other tasks and define correlation values to quantify task correlations. Through this process, we unveil the task correlations between various self-supervised tasks and can measure their expressive capabilities, which are closely related to downstream performance. By analyzing the correlation values between tasks across various datasets, we reveal the complexity of task correlations and the limitations of existing multi-task learning methods. To obtain more capable representations, we propose Graph Task Correlation Modeling (GraphTCM) to illustrate the task correlations and utilize it to enhance graph self-supervised training. The experimental results indicate that our method significantly outperforms existing methods across various downstream tasks.
- Abstract（参考訳）: グラフによる自己教師型学習は、ラベル付きデータにアクセスせずに情報表現を訓練する研究の急増を引き起こした。
しかし、グラフ自己教師型学習の理解は依然として限られており、様々な自己教師型タスク間の固有の関係は未だ解明されていない。
本研究の目的は,タスク相関に基づくグラフ自己教師型学習の新たな理解を提供することである。
具体的には、ある特定のタスクによって訓練された他のタスクにおける表現のパフォーマンスを評価し、タスク相関を定量化するための相関値を定義する。
このプロセスを通じて、様々な自己監督タスク間のタスク相関を明らかにし、下流のパフォーマンスと密接な関係を持つ表現能力を測定する。
各種データセット間でのタスク間の相関値を解析することにより、タスク相関の複雑さと既存のマルチタスク学習手法の限界を明らかにする。
より有能な表現を得るために,タスク相関を説明するグラフタスク相関モデリング(GraphTCM)を提案する。
実験結果から,本手法は様々な下流タスクにおいて既存手法よりも優れていたことが示唆された。
関連論文リスト
- A Unified Causal View of Instruction Tuning [76.1000380429553]
メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。
主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
論文 参考訳（メタデータ） (2024-02-09T07:12:56Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Unsupervised Task Graph Generation from Instructional Video Transcripts [53.54435048879365]
本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。
目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。
本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
論文 参考訳（メタデータ） (2023-02-17T22:50:08Z) - Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。
自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文 参考訳（メタデータ） (2022-10-13T17:59:16Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - FAITH: Few-Shot Graph Classification with Hierarchical Task Graphs [39.576675425158754]
少数ショットグラフ分類はグラフのクラスを予測することを目的としており、各クラスに限定されたラベル付きグラフが与えられる。
本稿では,階層的なタスクグラフを構築することにより,タスク相関をキャプチャする新しい数ショット学習フレームワークFAITHを提案する。
4つの一般的な数ショットグラフ分類データセットの実験は、他の最先端のベースラインよりもFAITHの方が優れていることを示した。
論文 参考訳（メタデータ） (2022-05-05T04:28:32Z) - Automated Self-Supervised Learning for Graphs [37.14382990139527]
本研究の目的は、複数のプリテキストタスクを効果的に活用する方法を検討することである。
我々は、多くの実世界のグラフ、すなわちホモフィリーの鍵となる原理を、様々な自己教師付きプレテキストタスクを効果的に探索するためのガイダンスとして利用している。
本稿では,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-10T03:09:20Z) - Distribution Matching for Heterogeneous Multi-Task Learning: a
Large-scale Face Study [75.42182503265056]
マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。
我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。
大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
論文 参考訳（メタデータ） (2021-05-08T22:26:52Z) - Learning an Interpretable Graph Structure in Multi-Task Learning [18.293397644865454]
本稿では,タスク間のマルチタスク学習と本質的な関係を解釈可能かつスパースなグラフで推定する新しい手法を提案する。
このグラフは各タスクのモデルパラメータと同時に学習するため、特定の予測問題におけるタスク間の臨界関係を反映する。
論文 参考訳（メタデータ） (2020-09-11T18:58:14Z) - Taskology: Utilizing Task Relations at Scale [28.09712466727001]
共同で訓練することで,タスクの集合間の固有の関係を活用できることが示される。
タスク間の関係を明確に活用することで、パフォーマンスが向上し、ラベル付きデータの必要性が劇的に低減される。
本稿では, 深度と正規予測, セマンティックセグメンテーション, 3次元運動とエゴモーション推定, および点雲における物体追跡と3次元検出という, タスクのサブセットについて示す。
論文 参考訳（メタデータ） (2020-05-14T22:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。