論文の概要: Bi-Link: Bridging Inductive Link Predictions from Text via Contrastive Learning of Transformers and Prompts

• arxiv url: http://arxiv.org/abs/2210.14463v1
• Date: Wed, 26 Oct 2022 04:31:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 14:24:15.359294
• Title: Bi-Link: Bridging Inductive Link Predictions from Text via Contrastive Learning of Transformers and Prompts
• Title（参考訳）: Bi-Link:トランスフォーマーとプロンプトの対比学習によるテキストからのインダクティブリンク予測
• Authors: Bohua Peng, Shihao Liang and Mobarakol Islam
• Abstract要約: 本稿では,確率論的構文をリンク予測に役立てた比較学習フレームワークBi-Linkを提案する。 BERTの文法的知識を用いて,大規模知識グラフに一般化する学習的構文パターンに従って,関係性プロンプトを効率的に探索する。 我々の実験では、Bi-Linkはリンク予測データセットの最近のベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 2.9972063833424216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inductive knowledge graph completion requires models to comprehend the underlying semantics and logic patterns of relations. With the advance of pretrained language models, recent research have designed transformers for link prediction tasks. However, empirical studies show that linearizing triples affects the learning of relational patterns, such as inversion and symmetry. In this paper, we propose Bi-Link, a contrastive learning framework with probabilistic syntax prompts for link predictions. Using grammatical knowledge of BERT, we efficiently search for relational prompts according to learnt syntactical patterns that generalize to large knowledge graphs. To better express symmetric relations, we design a symmetric link prediction model, establishing bidirectional linking between forward prediction and backward prediction. This bidirectional linking accommodates flexible self-ensemble strategies at test time. In our experiments, Bi-Link outperforms recent baselines on link prediction datasets (WN18RR, FB15K-237, and Wikidata5M). Furthermore, we construct Zeshel-Ind as an in-domain inductive entity linking the environment to evaluate Bi-Link. The experimental results demonstrate that our method yields robust representations which can generalize under domain shift.
• Abstract（参考訳）: 帰納的知識グラフの完成には、基礎となる意味論と関係の論理パターンを理解するモデルが必要である。 事前学習された言語モデルの進歩により、最近の研究はリンク予測タスクのためのトランスフォーマーを設計した。 しかし、経験的研究により、線形化三重項は反転や対称性といった関係パターンの学習に影響を及ぼすことが示された。 本稿では,確率論的構文を用いたリンク予測手法であるBi-Linkを提案する。 BERTの文法的知識を用いて,大規模知識グラフに一般化する学習的構文パターンに従って,関係性プロンプトを効率的に探索する。 対称関係をより良く表現するために,対称リンク予測モデルを設計し,前方予測と後方予測の双方向リンクを確立する。 この双方向リンクは、テスト時に柔軟なセルフアンサンブル戦略に対応する。 我々の実験では、Bi-Linkはリンク予測データセット(WN18RR、FB15K-237、Wikidata5M)の最近のベースラインよりも優れています。 さらに,環境を結合してバイリンクを評価するインダクティブエンティティとしてzeshel-indを構築した。 実験により,本手法は領域シフト下で一般化できるロバスト表現が得られることを示した。

関連論文リスト

• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
  トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
  論文  参考訳（メタデータ） (2023-08-17T17:59:19Z)
• Towards Few-shot Inductive Link Prediction on Knowledge Graphs: A Relational Anonymous Walk-guided Neural Process Approach [49.00753238429618]
  知識グラフ上のインダクティブリンク予測は,少数ショットリンクを観測した未確認エンティティのリンク不足を予測することを目的としている。 近年の帰納的手法は、目に見えない実体を取り巻く部分グラフを用いて意味情報を取得し、リンクを誘導的に予測する。 本稿では,知識グラフ上の数ショットの帰納的リンク予測をRawNPと表記する,新しいリレーショナル匿名型歩行誘導ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:02:32Z)
• Link Prediction on Heterophilic Graphs via Disentangled Representation Learning [28.770767478688008]
  異種グラフ上のリンク予測のための非絡み合い表現学習の新しい問題について検討する。 DisenLinkは、リンク生成をモデル化し、ファクトリ対応のメッセージパスを実行し、リンク予測を容易にすることで、アンタングル表現を学習することができる。
  論文  参考訳（メタデータ） (2022-08-03T02:48:26Z)
• A Simple yet Effective Relation Information Guided Approach for Few-Shot Relation Extraction [22.60428265210431]
  Few-Shot Relation extractは、文中の一対の実体の関係を、各関係にいくつかのラベル付き例で訓練することによって予測することを目的としている。 原型ネットワークに基づくモデル学習を支援するための関係情報を導入した最近の研究もある。 関係情報はモデルにより明確かつ効果的に導入できると論じる。
  論文  参考訳（メタデータ） (2022-05-19T13:03:01Z)
• Learning Representations of Entities and Relations [0.0]
  この論文は,リンク予測タスクに取り組むことを目的とした知識グラフ表現の改善に焦点を当てている。 最初のコントリビューションはHypERであり、リンク予測性能を単純化し改善する畳み込みモデルである。 第2のコントリビューションは比較的単純な線形モデルであるTuckERで、このモデルが導入された時点では、最先端のリンク予測性能が得られた。 第3の貢献は、双曲空間に埋め込まれた最初のマルチリレーショナルグラフ表現モデルである MuRP である。
  論文  参考訳（メタデータ） (2022-01-31T09:24:43Z)
• Link Prediction with Contextualized Self-Supervision [63.25455976593081]
  リンク予測は、ネットワーク内の2つのノード間のリンクの存在を推測することを目的としている。 従来のリンク予測アルゴリズムは、リンク空間、ノード属性ノイズ、ネットワークダイナミクスという3つの大きな課題によって妨げられている。 本稿では,リンク予測のための構造的コンテキスト予測を完全に活用する,コンテキスト適応型自己監視学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-25T03:12:32Z)
• Link Prediction on N-ary Relational Data Based on Relatedness Evaluation [61.61555159755858]
  我々は,n-aryリレーショナルデータ上でリンク予測を行うNaLPという手法を提案する。 各 n 個の関係事実を、その役割と役割と値のペアの集合として表現する。 実験結果は,提案手法の有効性と有用性を検証した。
  論文  参考訳（メタデータ） (2021-04-21T09:06:54Z)
• Topology-Aware Correlations Between Relations for Inductive Link Prediction in Knowledge Graphs [41.38172189254483]
  TACTは、2つの関係間の意味的相関がそれらのトポロジカルナレッジグラフと非常に相関しているという観測に触発される。 関係対を複数のトポロジ的パターンに分類し、相関ネットワーク(RCN)の構造を提案し、帰納的リンク予測における異なるパターンの重要性を学習する。 実験では、TACTが関係間のセマンティック相関を効果的にモデル化し、ベンチマークデータセット上の既存の最先端の方法を大幅に上回ることが示されています。
  論文  参考訳（メタデータ） (2021-03-05T13:00:10Z)
• Generalized Relation Learning with Semantic Correlation Awareness for Link Prediction [29.23338194883254]
  本稿では,上記の2つの問題に対処する汎用関係学習フレームワークを提案する。 grlを用いた訓練により、ベクトル空間における意味的類似関係の密接性と類似関係の識別性が向上する。
  論文  参考訳（メタデータ） (2020-12-22T12:22:03Z)
• Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction [69.1473775184952]
  数発のアウトオブグラフリンク予測という現実的な問題を導入する。 我々は,新しいメタ学習フレームワークによってこの問題に対処する。 我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2020-06-11T17:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。