論文の概要: Relation-aware Graph Attention Model With Adaptive Self-adversarial Training

• arxiv url: http://arxiv.org/abs/2102.07186v1
• Date: Sun, 14 Feb 2021 16:11:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 16:09:31.008103
• Title: Relation-aware Graph Attention Model With Adaptive Self-adversarial Training
• Title（参考訳）: 適応型自己適応訓練を用いた関係認識グラフ注意モデル
• Authors: Xiao Qin, Nasrullah Sheikh, Berthold Reinwald, Lingfei Wu
• Abstract要約: 本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 パラメータフリーな負のサンプリング手法であるadaptive self-adversarial (asa) 負のサンプリングを導入する。
• 参考スコア（独自算出の注目度）: 29.240686573485718
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper describes an end-to-end solution for the relationship prediction task in heterogeneous, multi-relational graphs. We particularly address two building blocks in the pipeline, namely heterogeneous graph representation learning and negative sampling. Existing message passing-based graph neural networks use edges either for graph traversal and/or selection of message encoding functions. Ignoring the edge semantics could have severe repercussions on the quality of embeddings, especially when dealing with two nodes having multiple relations. Furthermore, the expressivity of the learned representation depends on the quality of negative samples used during training. Although existing hard negative sampling techniques can identify challenging negative relationships for optimization, new techniques are required to control false negatives during training as false negatives could corrupt the learning process. To address these issues, first, we propose RelGNN -- a message passing-based heterogeneous graph attention model. In particular, RelGNN generates the states of different relations and leverages them along with the node states to weigh the messages. RelGNN also adopts a self-attention mechanism to balance the importance of attribute features and topological features for generating the final entity embeddings. Second, we introduce a parameter-free negative sampling technique -- adaptive self-adversarial (ASA) negative sampling. ASA reduces the false-negative rate by leveraging positive relationships to effectively guide the identification of true negative samples. Our experimental evaluation demonstrates that RelGNN optimized by ASA for relationship prediction improves state-of-the-art performance across established benchmarks as well as on a real industrial dataset.
• Abstract（参考訳）: 本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 既存のメッセージパッシングベースのグラフニューラルネットワークは、グラフトラバーサルまたはメッセージエンコーディング関数の選択にエッジを使用する。 エッジセマンティクスを無視することは、特に複数の関係を持つ2つのノードを扱う場合、埋め込みの品質に深刻な影響を与える可能性がある。 さらに, 学習表現の表現性は, 訓練中に用いる負のサンプルの品質に依存する。 既存のハードネガティブサンプリング技術では、最適化のために難しいネガティブな関係を識別できるが、トレーニング中に偽陰性を制御し、偽陰性が学習プロセスを損なう可能性があるため、新たなテクニックが必要となる。 これらの問題に対処するため、まずメッセージパッシングベースの異種グラフアテンションモデルであるRelGNNを提案します。 特に、RelGNNは異なる関係の状態を生成し、ノード状態とともにそれらを活用してメッセージの重み付けを行う。 RelGNNはまた、属性の特徴と最終エンティティの埋め込みを生成するトポロジ的特徴のバランスをとるための自己注意機構も採用している。 次に,パラメータフリーな負サンプリング手法であるadaptive self-adversarial (asa) 負サンプリングを導入する。 ASAは正の関係を利用して偽陰性率を減らし、真の負のサンプルの同定を効果的に導く。 実験により,関係予測のためにASAにより最適化されたRelGNNは,既存のベンチマークや実産業データセット上での最先端性能の向上を実証した。

関連論文リスト

• Pseudo Contrastive Learning for Graph-based Semi-supervised Learning [79.40126736565922]
  Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。 我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-19T10:34:08Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• STERLING: Synergistic Representation Learning on Bipartite Graphs [62.144425674415466]
  負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。 局所的および大域的シナジーは、型間正のノード対と型内正のノード対の類似性を最大化し、共クラスタの相互情報を最大化する。
  論文  参考訳（メタデータ） (2023-01-25T03:21:42Z)
• Link Prediction with Non-Contrastive Learning [19.340519670329382]
  グラフ自己教師型学習(SSL)は、ラベル付きデータなしで有用なノード表現を導出することを目的としている。 多くの最先端グラフSSL法は、正と負のサンプルの組み合わせを用いた対照的な手法である。 近年の文献では非コントラスト法が導入されており、正のサンプルのみを用いている。
  論文  参考訳（メタデータ） (2022-11-25T22:30:15Z)
• Learning From Positive and Unlabeled Data Using Observer-GAN [0.0]
  正・未ラベルデータ(A.K.A. PU学習)から学習することの問題は、二項分類(正・負)において研究されている。 GAN(Generative Adversarial Networks)は、教師あり学習が分類タスクにおいて最先端の精度を持つという利点を生かして、教師あり設定に問題を還元するために使用されている。
  論文  参考訳（メタデータ） (2022-08-26T07:35:28Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Structure-Aware Hard Negative Mining for Heterogeneous Graph Contrastive Learning [21.702342154458623]
  本稿では,グラフニューラルネットワーク(GNN)におけるコントラスト学習(CL)について検討する。 まず、メタパスとネットワークスキーマに基づいて複数のセマンティックビューを生成します。 次に、異なるセマンティックビューに対応するノードの埋め込み(陽性)を押して、他の埋め込み(負)を引き離します。 複雑なグラフ構造とGNNの滑らかな性質を考慮し,構造を考慮した強負のマイニング手法を提案する。
  論文  参考訳（メタデータ） (2021-08-31T14:44:49Z)
• Structure Aware Negative Sampling in Knowledge Graphs [18.885368822313254]
  対照的な学習アプローチの重要な側面は、強い負のサンプルを生成する汚職分布の選択である。 我々は,ノードのkホップ近傍から負のサンプルを選択することで,リッチグラフ構造を利用した安価な負のサンプリング戦略であるStructure Aware Negative Smpling (SANS)を提案する。
  論文  参考訳（メタデータ） (2020-09-23T19:57:00Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。