論文の概要: Label Informed Contrastive Pretraining for Node Importance Estimation on Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2402.17791v1
• Date: Mon, 26 Feb 2024 12:28:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 17:36:47.146386
• Title: Label Informed Contrastive Pretraining for Node Importance Estimation on Knowledge Graphs
• Title（参考訳）: ナレッジグラフを用いたノード重要度推定のためのラベルインフォームドコントラストプリトレーニング
• Authors: Tianyu Zhang, Chengbin Hou, Rui Jiang, Xuegong Zhang, Chenghu Zhou, Ke Tang, Hairong Lv
• Abstract要約: NIE問題にラベルインフォームド・コントラアッティブ・プレトレーニング(licAP)を導入する。 licAPは、連続ラベルを完全に活用することを目的とした、新しいタイプのコントラスト学習フレームワークである。 licAP事前訓練された埋め込みは、既存のNIEメソッドのパフォーマンスをさらに向上させる。
• 参考スコア（独自算出の注目度）: 29.928289032750634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Node Importance Estimation (NIE) is a task of inferring importance scores of the nodes in a graph. Due to the availability of richer data and knowledge, recent research interests of NIE have been dedicating to knowledge graphs for predicting future or missing node importance scores. Existing state-of-the-art NIE methods train the model by available labels, and they consider every interested node equally before training. However, the nodes with higher importance often require or receive more attention in real-world scenarios, e.g., people may care more about the movies or webpages with higher importance. To this end, we introduce Label Informed ContrAstive Pretraining (LICAP) to the NIE problem for being better aware of the nodes with high importance scores. Specifically, LICAP is a novel type of contrastive learning framework that aims to fully utilize the continuous labels to generate contrastive samples for pretraining embeddings. Considering the NIE problem, LICAP adopts a novel sampling strategy called top nodes preferred hierarchical sampling to first group all interested nodes into a top bin and a non-top bin based on node importance scores, and then divide the nodes within top bin into several finer bins also based on the scores. The contrastive samples are generated from those bins, and are then used to pretrain node embeddings of knowledge graphs via a newly proposed Predicate-aware Graph Attention Networks (PreGAT), so as to better separate the top nodes from non-top nodes, and distinguish the top nodes within top bin by keeping the relative order among finer bins. Extensive experiments demonstrate that the LICAP pretrained embeddings can further boost the performance of existing NIE methods and achieve the new state-of-the-art performance regarding both regression and ranking metrics. The source code for reproducibility is available at https://github.com/zhangtia16/LICAP
• Abstract（参考訳）: ノード重要度推定(NIE)は、グラフ内のノードの重要度を推定するタスクである。 より豊富なデータと知識が利用できるため、NIEの最近の研究関心は、将来や欠落したノードの重要度を予測するための知識グラフに向けられている。 既存の最先端のNIEメソッドは、利用可能なラベルでモデルをトレーニングし、トレーニング前にすべての興味あるノードを平等に検討する。 しかし、より重要度の高いノードは、しばしば現実のシナリオにおいて、より重要度の高い映画やウェブページをもっと気にすることがある。 そこで本研究では,NIE問題に対して,評価スコアの高いノードをよりよく認識するために,Label Informed ContrAstive Pretraining(LICAP)を導入する。 特に、licapは、連続ラベルを十分に活用して、埋め込みを事前学習するためのコントラストサンプルを生成する、新しいタイプのコントラスト学習フレームワークである。 NIE問題を考えると、licAPはトップノードと呼ばれる新しいサンプリング戦略を採用し、すべての興味あるノードをノードの重要度スコアに基づいてトップビンと非トップビンにグループ化し、そのスコアに基づいて上位ビン内のノードをいくつかのより細かいビンに分割する。 これらのビンからコントラストサンプルを生成し、新たに提案された述語認識グラフアテンションネットワーク(pregat)を介して知識グラフのノード埋め込みを事前学習し、トップノードを非トップノードからよりよく分離し、上位ビン内のトップノードを相対的な順序を維持して区別する。 広汎な実験により、licAP事前訓練された埋め込みは、既存のNIEメソッドのパフォーマンスをさらに向上し、回帰とランキングの両方のメトリクスに関する新しい最先端のパフォーマンスを達成することができる。 再現性のためのソースコードはhttps://github.com/zhangtia16/licapで入手できる。

関連論文リスト

• Cluster-based Graph Collaborative Filtering [55.929052969825825]
  グラフ畳み込みネットワーク(GCN)は、レコメンデーションシステムのためのユーザおよびアイテム表現の学習に成功している。 既存のGCNベースのほとんどのメソッドは、高階グラフ畳み込みを実行しながら、ユーザの複数の関心事を見落としている。 クラスタベースグラフ協調フィルタリング(ClusterGCF)と呼ばれる新しいGCNベースのレコメンデーションモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-16T07:05:16Z)
• Contrastive Meta-Learning for Few-shot Node Classification [54.36506013228169]
  少ないショットノード分類は、限定されたラベル付きノードのみを参照としてグラフ上のノードのラベルを予測することを目的としている。 グラフ上にCOSMICという新しい対照的なメタラーニングフレームワークを2つの重要な設計で作成する。
  論文  参考訳（メタデータ） (2023-06-27T02:22:45Z)
• Dissimilar Nodes Improve Graph Active Learning [27.78519071553204]
  能動学習のための3つの相似性に基づく情報スコア:特徴相似性スコア(FDS)、構造相似性スコア(SDS)、組込み相似性スコア(EDS)を紹介する。 新たに提案したスコアにより,分類精度が平均2.1%向上し,異なるグラフニューラルネットワークアーキテクチャへの一般化が可能となった。
  論文  参考訳（メタデータ） (2022-12-05T01:00:37Z)
• Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification [9.539495585692007]
  ノード分類のためのGNNのトレーニングのための新しい目的語を提案する。 我々の第一項は、ノードとラベルの特徴間の相互情報を最大化することを目的としている。 第2項は予測写像における異方的滑らか性を促進する。
  論文  参考訳（メタデータ） (2022-11-29T23:25:14Z)
• Learning with Few Labeled Nodes via Augmented Graph Self-Training [36.97506256446519]
  GST(Augmented Graph Self-Training)フレームワークは、分離されたGSTバックボーンの上に2つの新しい(構造的および意味的な)拡張モジュールで構築されている。 この新たなフレームワークが,ラベル付きノードを極端に限定した効率的なグラフ予測モデルを学習できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-08-26T03:36:01Z)
• Hierarchical Prototype Networks for Continual Graph Representation Learning [90.78466005753505]
  本稿では,連続的に拡張されたグラフを表現するために,プロトタイプの形式で抽象的な知識のレベルを抽出する階層型プロトタイプネットワーク(HPN)を提案する。 我々はHPNが最先端のベースライン技術を上回るだけでなく、メモリ消費も比較的少ないことを示した。
  論文  参考訳（メタデータ） (2021-11-30T14:15:14Z)
• Noise-robust Graph Learning by Estimating and Leveraging Pairwise Interactions [123.07967420310796]
  本稿では,グラフ上のノイズノード分類のためのペアワイズフレームワークを提案することにより,そのギャップを埋める。 PI-GNNは、ノイズの多いノードクラスラベルからのポイントワイズ学習に加えて、PIを一次学習プロキシとして依存している。 提案するフレームワークPI-GNNは,(1)PIラベルを適応的に推定する信頼度を考慮したPI推定モデル,(2)PIラベルを推定する疎結合トレーニング手法の2つの新しい構成要素に寄与する。
  論文  参考訳（メタデータ） (2021-06-14T14:23:08Z)
• Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks [67.25782890241496]
  異種ネットワーク表現学習のための高次属性強化グラフニューラルネットワーク(HAEGNN)を提案する。 HAEGNNは、リッチで異質なセマンティクスのためのメタパスとメタグラフを同時に組み込む。 ノード分類、ノードクラスタリング、可視化における最先端の手法よりも優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-04-16T04:56:38Z)
• NCGNN: Node-level Capsule Graph Neural Network [45.23653314235767]
  ノードレベルカプセルグラフニューラルネットワーク(ncgnn)は、ノードをカプセル群として表現する。 凝集に適したカプセルを適応的に選択する新しい動的ルーティング手法を開発した。 NCGNNは、過度にスムースな問題に対処でき、分類のためのより良いノード埋め込みを生成することで、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-07T06:46:17Z)
• Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification [47.753422069515366]
  グラフニューラルネットワーク(GNN)は,グラフに基づく半教師付きノード分類において顕著な成功を収めている。 本稿では,GNNにおけるノードの受容領域を拡大するために,ノードペアが接続されていないが同一のラベルを持つラベル一貫性に基づくグラフニューラルネットワーク(LC-GNN)を提案する。 ベンチマークデータセットの実験では、LC-GNNはグラフベースの半教師付きノード分類において従来のGNNよりも優れていた。
  論文  参考訳（メタデータ） (2020-07-27T11:17:46Z)
• Graph Inference Learning for Semi-supervised Classification [50.55765399527556]
  半教師付きノード分類の性能を高めるためのグラフ推論学習フレームワークを提案する。 推論過程の学習には,トレーニングノードから検証ノードへの構造関係のメタ最適化を導入する。 4つのベンチマークデータセットの総合的な評価は、最先端の手法と比較して提案したGILの優位性を示している。
  論文  参考訳（メタデータ） (2020-01-17T02:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。