論文の概要: Relation-aware Graph Attention Model With Adaptive Self-adversarial Training

• arxiv url: http://arxiv.org/abs/2102.07186v1
• Date: Sun, 14 Feb 2021 16:11:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-02-16 16:09:31.008103
• Title: Relation-aware Graph Attention Model With Adaptive Self-adversarial Training
• Title（参考訳）: 適応型自己適応訓練を用いた関係認識グラフ注意モデル
• Authors: Xiao Qin, Nasrullah Sheikh, Berthold Reinwald, Lingfei Wu
• Abstract要約: 本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 パラメータフリーな負のサンプリング手法であるadaptive self-adversarial (asa) 負のサンプリングを導入する。
• 参考スコア（独自算出の注目度）: 29.240686573485718
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper describes an end-to-end solution for the relationship prediction task in heterogeneous, multi-relational graphs. We particularly address two building blocks in the pipeline, namely heterogeneous graph representation learning and negative sampling. Existing message passing-based graph neural networks use edges either for graph traversal and/or selection of message encoding functions. Ignoring the edge semantics could have severe repercussions on the quality of embeddings, especially when dealing with two nodes having multiple relations. Furthermore, the expressivity of the learned representation depends on the quality of negative samples used during training. Although existing hard negative sampling techniques can identify challenging negative relationships for optimization, new techniques are required to control false negatives during training as false negatives could corrupt the learning process. To address these issues, first, we propose RelGNN -- a message passing-based heterogeneous graph attention model. In particular, RelGNN generates the states of different relations and leverages them along with the node states to weigh the messages. RelGNN also adopts a self-attention mechanism to balance the importance of attribute features and topological features for generating the final entity embeddings. Second, we introduce a parameter-free negative sampling technique -- adaptive self-adversarial (ASA) negative sampling. ASA reduces the false-negative rate by leveraging positive relationships to effectively guide the identification of true negative samples. Our experimental evaluation demonstrates that RelGNN optimized by ASA for relationship prediction improves state-of-the-art performance across established benchmarks as well as on a real industrial dataset.
• Abstract（参考訳）: 本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 既存のメッセージパッシングベースのグラフニューラルネットワークは、グラフトラバーサルまたはメッセージエンコーディング関数の選択にエッジを使用する。 エッジセマンティクスを無視することは、特に複数の関係を持つ2つのノードを扱う場合、埋め込みの品質に深刻な影響を与える可能性がある。 さらに, 学習表現の表現性は, 訓練中に用いる負のサンプルの品質に依存する。 既存のハードネガティブサンプリング技術では、最適化のために難しいネガティブな関係を識別できるが、トレーニング中に偽陰性を制御し、偽陰性が学習プロセスを損なう可能性があるため、新たなテクニックが必要となる。 これらの問題に対処するため、まずメッセージパッシングベースの異種グラフアテンションモデルであるRelGNNを提案します。 特に、RelGNNは異なる関係の状態を生成し、ノード状態とともにそれらを活用してメッセージの重み付けを行う。 RelGNNはまた、属性の特徴と最終エンティティの埋め込みを生成するトポロジ的特徴のバランスをとるための自己注意機構も採用している。 次に,パラメータフリーな負サンプリング手法であるadaptive self-adversarial (asa) 負サンプリングを導入する。 ASAは正の関係を利用して偽陰性率を減らし、真の負のサンプルの同定を効果的に導く。 実験により,関係予測のためにASAにより最適化されたRelGNNは,既存のベンチマークや実産業データセット上での最先端性能の向上を実証した。

関連論文リスト

• Self-Supervised Conditional Distribution Learning on Graphs [15.730933577970687]
  本稿では,従来の特徴に対して,弱い特徴と強く拡張された特徴の条件分布を整列するエンドツーエンドグラフ表現学習モデルを提案する。 このアライメントは、グラフ構造化データ拡張による本質的な意味情報の破壊のリスクを効果的に低減する。
  論文  参考訳（メタデータ） (2024-11-20T07:26:36Z)
• Curriculum Negative Mining For Temporal Networks [33.70909189731187]
  時間的ネットワークは、時間とともにネットワークの進化する相互作用を捉えるのに有効である。 CurNMは、ネガティブサンプルの難易度を適応的に調整する、モデル対応のカリキュラム学習フレームワークである。 提案手法は, ベースライン法よりも格段に優れる。
  論文  参考訳（メタデータ） (2024-07-24T07:55:49Z)
• Diffusion-based Negative Sampling on Graphs for Link Prediction [8.691564173331924]
  リンク予測は、ソーシャルネットワーク分析やレコメンデーションシステムなど、Web上の重要なアプリケーションを用いたグラフ解析の基本的なタスクである。 本稿では,潜在空間からフレキシブルかつ制御可能な硬さのレベルを持つ負ノード生成を可能にする,マルチレベル負サンプリングの新しい手法を提案する。 条件拡散に基づくマルチレベル負サンプリング (DMNS) と呼ばれる本手法は, 拡散モデルのマルコフ連鎖特性を利用して, 可変硬度の複数レベルにおいて負のノードを生成する。
  論文  参考訳（メタデータ） (2024-03-25T23:07:31Z)
• Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
  リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。 まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。 第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
  論文  参考訳（メタデータ） (2023-10-14T07:02:54Z)
• Relation-Aware Network with Attention-Based Loss for Few-Shot Knowledge Graph Completion [9.181270251524866]
  現在のアプローチでは、マージンベースのランキング損失を最小限に抑えるために、参照エンティティペア毎に1つの負のサンプルをランダムに選択する。 本稿では,意図に基づくロスフレームワークを用いたリレーショナル・アウェア・ネットワークを提案する。 実験により、RANAは2つのベンチマークデータセットで最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-15T21:41:43Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
  二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。 最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。 負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
  論文  参考訳（メタデータ） (2023-01-25T03:21:42Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Structure Aware Negative Sampling in Knowledge Graphs [18.885368822313254]
  対照的な学習アプローチの重要な側面は、強い負のサンプルを生成する汚職分布の選択である。 我々は,ノードのkホップ近傍から負のサンプルを選択することで,リッチグラフ構造を利用した安価な負のサンプリング戦略であるStructure Aware Negative Smpling (SANS)を提案する。
  論文  参考訳（メタデータ） (2020-09-23T19:57:00Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。