論文の概要: Automated Self-Supervised Learning for Graphs

• arxiv url: http://arxiv.org/abs/2106.05470v1
• Date: Thu, 10 Jun 2021 03:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:37:39.536664
• Title: Automated Self-Supervised Learning for Graphs
• Title（参考訳）: グラフの自動教師付き学習
• Authors: Wei Jin, Xiaorui Liu, Xiangyu Zhao, Yao Ma, Neil Shah, Jiliang Tang
• Abstract要約: 本研究の目的は、複数のプリテキストタスクを効果的に活用する方法を検討することである。 我々は、多くの実世界のグラフ、すなわちホモフィリーの鍵となる原理を、様々な自己教師付きプレテキストタスクを効果的に探索するためのガイダンスとして利用している。 本稿では,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.14382990139527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph self-supervised learning has gained increasing attention due to its capacity to learn expressive node representations. Many pretext tasks, or loss functions have been designed from distinct perspectives. However, we observe that different pretext tasks affect downstream tasks differently cross datasets, which suggests that searching pretext tasks is crucial for graph self-supervised learning. Different from existing works focusing on designing single pretext tasks, this work aims to investigate how to automatically leverage multiple pretext tasks effectively. Nevertheless, evaluating representations derived from multiple pretext tasks without direct access to ground truth labels makes this problem challenging. To address this obstacle, we make use of a key principle of many real-world graphs, i.e., homophily, or the principle that ``like attracts like,'' as the guidance to effectively search various self-supervised pretext tasks. We provide theoretical understanding and empirical evidence to justify the flexibility of homophily in this search task. Then we propose the AutoSSL framework which can automatically search over combinations of various self-supervised tasks. By evaluating the framework on 7 real-world datasets, our experimental results show that AutoSSL can significantly boost the performance on downstream tasks including node clustering and node classification compared with training under individual tasks. Code will be released at https://github.com/ChandlerBang/AutoSSL.
• Abstract（参考訳）: グラフ自己教師付き学習は、表現力のあるノード表現を学習する能力から注目を集めている。 多くのプリテキストタスクや損失関数は、異なる視点から設計されている。 しかし、異なるプリテキストタスクがダウンストリームタスクに異なるクロスデータセットに影響することを観察し、グラフの自己教師付き学習にはプリテキストタスクの探索が不可欠であることを示唆している。 単一のプリテキストタスクの設計に焦点を当てた既存の作業とは異なり、この作業は複数のプリテキストタスクを効果的に活用する方法を検討することを目的としている。 それでも、複数のプリテキストタスクから派生した表現を基底真理ラベルに直接アクセスせずに評価することは、この問題を難しくする。 この障害に対処するために、我々は、多くの実世界のグラフ、すなわちホモフィリーや'like attracts like'の原則の鍵となる原理を、様々な自己教師付きプリテキストタスクを効果的に探索するためのガイダンスとして利用している。 この探索タスクにおけるホモフィリーの柔軟性を正当化するための理論的理解と実証的証拠を提供する。 次に,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。 実世界の7つのデータセットのフレームワークを評価することで、AutoSSLは個々のタスクでのトレーニングと比較して、ノードクラスタリングやノード分類を含む下流タスクのパフォーマンスを大幅に向上させることができることを示す。 コードはhttps://github.com/ChandlerBang/AutoSSLでリリースされる。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Replay-and-Forget-Free Graph Class-Incremental Learning: A Task Profiling and Prompting Approach [28.194940062243003]
  クラス増分学習(Class-incremental Learning, CIL)は、一連のタスクを連続的に学習することを目的としており、各タスクは固有のクラスで構成されている。 CILの主な特徴は、推論中にタスク識別子(ID)が存在しないことである。 グラフデータに対する正確なタスクID予測はラプラシアスムースティングに基づくグラフタスクプロファイリング手法により実現できることを示す。
  論文  参考訳（メタデータ） (2024-10-14T09:54:20Z)
• Exploring Correlations of Self-Supervised Tasks for Graphs [6.977921096191354]
  本稿では,タスク相関に基づくグラフ自己教師型学習を新たに理解することを目的とする。 我々は,ある特定のタスクによって訓練された他のタスクにおける表現の性能を評価し,タスク相関を定量化するための相関値を定義した。 本稿では,タスク相関を説明するグラフタスク相関モデリング(GraphTCM)を提案する。
  論文  参考訳（メタデータ） (2024-05-07T12:02:23Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
  本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。 また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:11:13Z)
• Mixture of Self-Supervised Learning [2.191505742658975]
  自己教師型学習は、特定のタスクに適用される前にモデル上でトレーニングされるプレテキストタスクを使用することで機能する。 従来の研究では、プリテキストタスクとして1つのタイプの変換しか使用されていなかった。 これにより、複数のプリテキストタスクが使用されているかどうか、すべてのプリテキストタスクを組み合わせるためにゲーティングネットワークを使用するかどうか、という疑問が持ち上がる。
  論文  参考訳（メタデータ） (2023-07-27T14:38:32Z)
• Unsupervised Task Graph Generation from Instructional Video Transcripts [53.54435048879365]
  本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。 目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。 本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-02-17T22:50:08Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization [40.265515914447924]
  近年,グラフニューラルネットワーク(GNN)のための自己教師付き学習(SSL)が機械学習コミュニティから注目を集めている。 GNNの従来のSSLフレームワークの弱点の1つは、単一の哲学から学ぶことである。
  論文  参考訳（メタデータ） (2022-10-05T04:09:38Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks [0.0]
  最近の少数ショット学習の研究は、学習された表現の質が少数ショット分類のパフォーマンスにおいて重要な役割を果たしていることを示しています。 一方,自己教師付き学習の目標は,クラスラベルを使わずにデータの有用な意味情報を復元することである。 我々は,最近の自己教師あり手法を補助タスクとして利用するマルチタスクフレームワークを用いて,両パラダイムの相補性を活用する。
  論文  参考訳（メタデータ） (2021-01-24T23:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。