論文の概要: Semi-supervised Training for Knowledge Base Graph Self-attention Networks on Link Prediction

• arxiv url: http://arxiv.org/abs/2209.01350v1
• Date: Sat, 3 Sep 2022 07:27:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:46:59.033981
• Title: Semi-supervised Training for Knowledge Base Graph Self-attention Networks on Link Prediction
• Title（参考訳）: リンク予測に基づく知識ベースグラフセルフアテンションネットワークのための半教師付き学習
• Authors: Shuanglong Yao, Dechang Pi, Junfu Chen, Yufei Liu, Zhiyuan Wu
• Abstract要約: 本稿では,隣接ノードの情報集約係数(自己アテンション)について検討し,GAT構造の自己アテンション機構を再設計する。 人間の思考習慣に触発されて,事前学習モデルを用いた半教師付き自己学習法を考案した。 実験結果から,提案する自己注意機構と半教師付き自己学習法はリンク予測タスクの性能を効果的に向上できることが示された。
• 参考スコア（独自算出の注目度）: 20.64973530280006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The task of link prediction aims to solve the problem of incomplete knowledge caused by the difficulty of collecting facts from the real world. GCNs-based models are widely applied to solve link prediction problems due to their sophistication, but GCNs-based models are suffering from two problems in the structure and training process. 1) The transformation methods of GCN layers become increasingly complex in GCN-based knowledge representation models; 2) Due to the incompleteness of the knowledge graph collection process, there are many uncollected true facts in the labeled negative samples. Therefore, this paper investigates the characteristic of the information aggregation coefficient (self-attention) of adjacent nodes and redesigns the self-attention mechanism of the GAT structure. Meanwhile, inspired by human thinking habits, we designed a semi-supervised self-training method over pre-trained models. Experimental results on the benchmark datasets FB15k-237 and WN18RR show that our proposed self-attention mechanism and semi-supervised self-training method can effectively improve the performance of the link prediction task. If you look at FB15k-237, for example, the proposed method improves Hits@1 by about 30%.
• Abstract（参考訳）: リンク予測の課題は、現実世界から事実を収集することの難しさに起因する不完全な知識の問題を解決することである。 GCNsベースのモデルは、その高度化によるリンク予測問題を解決するために広く応用されているが、GCNsベースのモデルは、構造と訓練過程における2つの問題に悩まされている。 1)GCN階層の変換方法は,GCNに基づく知識表現モデルにおいて複雑化する。 2) 知識グラフ収集プロセスの不完全性のため, ラベル付き負のサンプルには未収集事実が多数存在する。 そこで本研究では,隣接ノードの情報集約係数(自己アテンション)の特性を調べ,gat構造の自己アテンション機構を再設計する。 一方,人間の思考習慣に触発されて,事前学習モデルを用いた半教師付き自己学習法を考案した。 ベンチマークデータセット fb15k-237 と wn18rr の実験結果から,提案手法と半教師付き自己学習法がリンク予測タスクの性能を効果的に向上することが示された。 例えば、FB15k-237を見ると、提案手法はHits@1を約30%改善する。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Post-Hoc Robustness Enhancement in Graph Neural Networks with Conditional Random Fields [19.701706244728037]
  グラフニューラルネットワーク(GNN)は、敵の攻撃に弱いことが示されている。 本研究では,推論段階におけるGNNの堅牢性向上を目的としたポストホックアプローチであるRobustCRFを紹介する。
  論文  参考訳（メタデータ） (2024-11-08T08:26:42Z)
• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• Self-Supervised Contrastive Graph Clustering Network via Structural Information Fusion [15.293684479404092]
  CGCNと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,事前学習プロセスにコントラスト信号と深部構造情報を導入している。 本手法は,複数の実世界のグラフデータセットに対して実験的に検証されている。
  論文  参考訳（メタデータ） (2024-08-08T09:49:26Z)
• Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
  グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。 モデルはGCNを適用するために初期グラフを事前に推定する。 一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
  論文  参考訳（メタデータ） (2024-02-25T07:03:37Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Counterfactual Intervention Feature Transfer for Visible-Infrared Person Re-identification [69.45543438974963]
  視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。 十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。 本稿では,これらの問題に対処するためのCIFT法を提案する。
  論文  参考訳（メタデータ） (2022-08-01T16:15:31Z)
• Automated Graph Learning via Population Based Self-Tuning GCN [45.28411311903644]
  グラフ畳み込みネットワーク(GCN)とその変種は、幅広いタスクにうまく適用されている。 従来のGCNモデルはオーバーフィッティングとオーバースムーシングの問題に悩まされている。 DropEdgeのような最近の技術はこれらの問題を緩和し、ディープGCNの開発を可能にする。
  論文  参考訳（メタデータ） (2021-07-09T23:05:21Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。