論文の概要: Semi-supervised Training for Knowledge Base Graph Self-attention
Networks on Link Prediction
- arxiv url: http://arxiv.org/abs/2209.01350v1
- Date: Sat, 3 Sep 2022 07:27:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 12:46:59.033981
- Title: Semi-supervised Training for Knowledge Base Graph Self-attention
Networks on Link Prediction
- Title(参考訳): リンク予測に基づく知識ベースグラフセルフアテンションネットワークのための半教師付き学習
- Authors: Shuanglong Yao, Dechang Pi, Junfu Chen, Yufei Liu, Zhiyuan Wu
- Abstract要約: 本稿では,隣接ノードの情報集約係数(自己アテンション)について検討し,GAT構造の自己アテンション機構を再設計する。
人間の思考習慣に触発されて,事前学習モデルを用いた半教師付き自己学習法を考案した。
実験結果から,提案する自己注意機構と半教師付き自己学習法はリンク予測タスクの性能を効果的に向上できることが示された。
- 参考スコア(独自算出の注目度): 20.64973530280006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The task of link prediction aims to solve the problem of incomplete knowledge
caused by the difficulty of collecting facts from the real world. GCNs-based
models are widely applied to solve link prediction problems due to their
sophistication, but GCNs-based models are suffering from two problems in the
structure and training process. 1) The transformation methods of GCN layers
become increasingly complex in GCN-based knowledge representation models; 2)
Due to the incompleteness of the knowledge graph collection process, there are
many uncollected true facts in the labeled negative samples. Therefore, this
paper investigates the characteristic of the information aggregation
coefficient (self-attention) of adjacent nodes and redesigns the self-attention
mechanism of the GAT structure. Meanwhile, inspired by human thinking habits,
we designed a semi-supervised self-training method over pre-trained models.
Experimental results on the benchmark datasets FB15k-237 and WN18RR show that
our proposed self-attention mechanism and semi-supervised self-training method
can effectively improve the performance of the link prediction task. If you
look at FB15k-237, for example, the proposed method improves Hits@1 by about
30%.
- Abstract(参考訳): リンク予測の課題は、現実世界から事実を収集することの難しさに起因する不完全な知識の問題を解決することである。
GCNsベースのモデルは、その高度化によるリンク予測問題を解決するために広く応用されているが、GCNsベースのモデルは、構造と訓練過程における2つの問題に悩まされている。
1)GCN階層の変換方法は,GCNに基づく知識表現モデルにおいて複雑化する。
2) 知識グラフ収集プロセスの不完全性のため, ラベル付き負のサンプルには未収集事実が多数存在する。
そこで本研究では,隣接ノードの情報集約係数(自己アテンション)の特性を調べ,gat構造の自己アテンション機構を再設計する。
一方,人間の思考習慣に触発されて,事前学習モデルを用いた半教師付き自己学習法を考案した。
ベンチマークデータセット fb15k-237 と wn18rr の実験結果から,提案手法と半教師付き自己学習法がリンク予測タスクの性能を効果的に向上することが示された。
例えば、FB15k-237を見ると、提案手法はHits@1を約30%改善する。
関連論文リスト
- Deep Contrastive Graph Learning with Clustering-Oriented Guidance [61.103996105756394]
グラフ畳み込みネットワーク(GCN)は、グラフベースのクラスタリングを改善する上で大きな可能性を秘めている。
モデルはGCNを適用するために初期グラフを事前に推定する。
一般的なデータクラスタリングには,Deep Contrastive Graph Learning (DCGL)モデルが提案されている。
論文 参考訳(メタデータ) (2024-02-25T07:03:37Z) - Towards interpretable-by-design deep learning algorithms [11.154826546951414]
I という名前のフレームワークは、標準教師付き分類問題をトレーニングデータから派生したプロトタイプのセットに類似した関数に再キャストする。
本稿では,そのようなDLモデルを概念的にシンプルで説明可能なプロトタイプモデルにすることができることを示す。
論文 参考訳(メタデータ) (2023-11-19T18:40:49Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2023-09-26T13:09:43Z) - Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph
Completion [69.55700751102376]
FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。
既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。
本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
論文 参考訳(メタデータ) (2023-04-17T11:42:28Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Counterfactual Intervention Feature Transfer for Visible-Infrared Person
Re-identification [69.45543438974963]
視覚赤外人物再識別タスク(VI-ReID)におけるグラフベースの手法は,2つの問題により,悪い一般化に悩まされている。
十分に訓練された入力特徴は、グラフトポロジーの学習を弱め、推論過程において十分に一般化されない。
本稿では,これらの問題に対処するためのCIFT法を提案する。
論文 参考訳(メタデータ) (2022-08-01T16:15:31Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。
グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。
提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
論文 参考訳(メタデータ) (2021-07-13T12:58:32Z) - Automated Graph Learning via Population Based Self-Tuning GCN [45.28411311903644]
グラフ畳み込みネットワーク(GCN)とその変種は、幅広いタスクにうまく適用されている。
従来のGCNモデルはオーバーフィッティングとオーバースムーシングの問題に悩まされている。
DropEdgeのような最近の技術はこれらの問題を緩和し、ディープGCNの開発を可能にする。
論文 参考訳(メタデータ) (2021-07-09T23:05:21Z) - Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning [16.765461276790944]
自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。
ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。
分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
論文 参考訳(メタデータ) (2021-01-21T17:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。