論文の概要: Toward Improved Generalization: Meta Transfer of Self-supervised Knowledge on Graphs

• arxiv url: http://arxiv.org/abs/2212.08217v1
• Date: Fri, 16 Dec 2022 01:10:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 15:56:29.796506
• Title: Toward Improved Generalization: Meta Transfer of Self-supervised Knowledge on Graphs
• Title（参考訳）: 一般化を目指して:グラフ上の自己教師付き知識のメタ伝達
• Authors: Wenhui Cui, Haleh Akrami, Anand A. Joshi, Richard M. Leahy
• Abstract要約: 本稿ではメタラーニングと自己教師型学習を統合した新しい知識伝達戦略を提案する。 具体的には、ソースドメイン上で自己教師型タスクを実行し、メタラーニングを適用し、モデルの一般化性を大幅に向上させる。 提案手法は,グラフベース知識の一般化性と伝達性を高めることにより,目標タスク性能を著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable success achieved by graph convolutional networks for functional brain activity analysis, the heterogeneity of functional patterns and the scarcity of imaging data still pose challenges in many tasks. Transferring knowledge from a source domain with abundant training data to a target domain is effective for improving representation learning on scarce training data. However, traditional transfer learning methods often fail to generalize the pre-trained knowledge to the target task due to domain discrepancy. Self-supervised learning on graphs can increase the generalizability of graph features since self-supervision concentrates on inherent graph properties that are not limited to a particular supervised task. We propose a novel knowledge transfer strategy by integrating meta-learning with self-supervised learning to deal with the heterogeneity and scarcity of fMRI data. Specifically, we perform a self-supervised task on the source domain and apply meta-learning, which strongly improves the generalizability of the model using the bi-level optimization, to transfer the self-supervised knowledge to the target domain. Through experiments on a neurological disorder classification task, we demonstrate that the proposed strategy significantly improves target task performance by increasing the generalizability and transferability of graph-based knowledge.
• Abstract（参考訳）: 機能的脳活動分析のためのグラフ畳み込みネットワークによる顕著な成功にもかかわらず、機能的パターンの多様性と画像データの不足は、多くのタスクにおいて依然として課題となっている。 トレーニングデータの多いソースドメインからターゲットドメインへの知識の転送は、不足したトレーニングデータでの表現学習を改善するのに有効である。 しかし,従来の伝達学習手法では,事前学習した知識を目的のタスクに一般化できない場合が多い。 グラフ上の自己教師付き学習は、特定の教師付きタスクに限定されない固有のグラフ特性に集中するため、グラフ特徴の一般化可能性を高めることができる。 メタラーニングと自己教師付き学習を統合することで,fMRIデータの均一性と不足に対処する新しい知識伝達戦略を提案する。 具体的には、ソースドメイン上で自己教師型タスクを実行し、メタラーニングを適用し、バイレベル最適化を用いてモデルの一般化性を強く向上させ、自己教師型知識を対象ドメインに転送する。 神経障害分類タスクの実験を通じて,提案手法は,グラフベース知識の一般化可能性や伝達可能性を高めることにより,目標タスクのパフォーマンスを著しく向上することを示した。

関連論文リスト

• MLDGG: Meta-Learning for Domain Generalization on Graphs [9.872254367103057]
  グラフ上のドメインの一般化は、堅牢な一般化機能を持つモデルを開発することを目的としている。 我々のフレームワークであるMDDGGは、多分野間メタラーニングを統合することで、多分野にわたる適応可能な一般化を実現する。 実験の結果,MDDGGはベースライン法を超越し,3種類の分散シフト設定で有効性を示した。
  論文  参考訳（メタデータ） (2024-11-19T22:57:38Z)
• Perturbation-based Graph Active Learning for Weakly-Supervised Belief Representation Learning [13.311498341765772]
  目標は、制約された予算内でラベル付けする価値のあるソーシャルメディアグラフ上で、価値あるメッセージを戦略的に特定することである。 本稿では、ラベル付けのためのメッセージを段階的に選択するグラフデータ強化型アクティブラーニング戦略(PerbALGraph)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T22:11:06Z)
• Core Knowledge Learning Framework for Graph Adaptation and Scalability Learning [7.239264041183283]
  グラフ分類は、多様な予測タスクへの適応、複数のターゲットドメインでのトレーニング、小さなサンプル予測シナリオの処理など、いくつかのハードルに直面している。 本手法は,様々なタスクからの洞察を取り入れることで,グラフ分類における適応性,拡張性,一般化性を向上させることを目的とする。 実験の結果, 最先端手法と比較して, 提案手法による性能向上が顕著であった。
  論文  参考訳（メタデータ） (2024-07-02T02:16:43Z)
• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。 近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。 本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
  論文  参考訳（メタデータ） (2021-07-19T11:46:28Z)
• Self-supervised Auxiliary Learning for Graph Neural Networks via Meta-Learning [16.847149163314462]
  グラフニューラルネットワークを効果的に学習するための,新しい自己監視型補助学習フレームワークを提案する。 本手法では,様々な補助タスクを用いて一次タスクを学習し,一般化性能を向上させる。 本手法は,任意のグラフニューラルネットワークに対して,手動ラベリングや追加データなしでプラグイン方式で適用することができる。
  論文  参考訳（メタデータ） (2021-03-01T05:52:57Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。