論文の概要: From Canonical Correlation Analysis to Self-supervised Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2106.12484v1
• Date: Wed, 23 Jun 2021 15:55:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 15:17:23.813455
• Title: From Canonical Correlation Analysis to Self-supervised Graph Neural Networks
• Title（参考訳）: 正準相関解析から自己教師付きグラフニューラルネットワークへ
• Authors: Hengrui Zhang, Qitian Wu, Junchi Yan, David Wipf, Philip S. Yu
• Abstract要約: 本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。 古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。 提案手法は、7つの公開グラフデータセット上で競合的に動作する。
• 参考スコア（独自算出の注目度）: 99.44881722969046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a conceptually simple yet effective model for self-supervised representation learning with graph data. It follows the previous methods that generate two views of an input graph through data augmentation. However, unlike contrastive methods that focus on instance-level discrimination, we optimize an innovative feature-level objective inspired by classical Canonical Correlation Analysis. Compared with other works, our approach requires none of the parameterized mutual information estimator, additional projector, asymmetric structures, and most importantly, negative samples which can be costly. We show that the new objective essentially 1) aims at discarding augmentation-variant information by learning invariant representations, and 2) can prevent degenerated solutions by decorrelating features in different dimensions. Our theoretical analysis further provides an understanding for the new objective which can be equivalently seen as an instantiation of the Information Bottleneck Principle under the self-supervised setting. Despite its simplicity, our method performs competitively on seven public graph datasets.
• Abstract（参考訳）: 本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。 データ拡張を通じて入力グラフの2つのビューを生成する以前の方法に従う。 しかし、インスタンスレベルの識別に焦点を当てた対照的な手法とは異なり、古典的正準相関分析に触発された革新的な特徴レベルの目標を最適化する。 他の研究と比較すると、パラメータ化された相互情報推定器、追加のプロジェクタ、非対称構造、そして最も重要なのは、コストがかかる負のサンプルを必要としない。 本研究の目的は,1) 不変表現を学習することで拡張不変情報を排除し,2) 異なる次元の特徴をデコレーションすることでデジェネレーションソリューションを回避できることである。 また,本理論解析は,情報ボトルネック原理のインスタンス化と同等視できる新しい目的の理解を,自己教師付き設定下でも提供する。 その単純さにもかかわらず、この手法は7つのパブリックグラフデータセット上で競合的に実行される。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Creating generalizable downstream graph models with random projections [22.690120515637854]
  本稿では,グラフ全体にわたってモデルを一般化するグラフ表現学習手法について検討する。 遷移行列の複数のパワーを推定するためにランダムな射影を用いることで、同型不変な特徴の集合を構築することができることを示す。 結果として得られる特徴は、ノードの局所的近傍に関する十分な情報を回復するために使用することができ、他のアプローチと競合する推論を可能にする。
  論文  参考訳（メタデータ） (2023-02-17T14:27:00Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
  そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。 また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。 実験の結果,提案手法は従来の手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2021-07-08T13:10:42Z)
• Learning an Interpretable Graph Structure in Multi-Task Learning [18.293397644865454]
  本稿では,タスク間のマルチタスク学習と本質的な関係を解釈可能かつスパースなグラフで推定する新しい手法を提案する。 このグラフは各タスクのモデルパラメータと同時に学習するため、特定の予測問題におけるタスク間の臨界関係を反映する。
  論文  参考訳（メタデータ） (2020-09-11T18:58:14Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。