論文の概要: Separate-and-Aggregate: A Transformer-based Patch Refinement Model for Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2307.05627v1
• Date: Tue, 11 Jul 2023 06:27:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 15:58:06.676691
• Title: Separate-and-Aggregate: A Transformer-based Patch Refinement Model for Knowledge Graph Completion
• Title（参考訳）: Separate-and-Aggregate:知識グラフ補完のためのトランスフォーマーベースのパッチリファインメントモデル
• Authors: Chen Chen, Yufei Wang, Yang Zhang, Quan Z. Sheng, and Kwok-Yan Lam
• Abstract要約: 本稿では,知識グラフ補完のための新しいトランスフォーマーベースのパッチリファインメントモデル(PatReFormer)を提案する。 我々は4つのKGCベンチマーク(WN18RR, FB15k-237, YAGO37, DB100K)で実験を行った。 実験結果から, 既存のKGC法と標準KGC評価指標との有意な性能向上が得られた。
• 参考スコア（独自算出の注目度）: 28.79628925695775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graph completion (KGC) is the task of inferencing missing facts from any given knowledge graphs (KG). Previous KGC methods typically represent knowledge graph entities and relations as trainable continuous embeddings and fuse the embeddings of the entity $h$ (or $t$) and relation $r$ into hidden representations of query $(h, r, ?)$ (or $(?, r, t$)) to approximate the missing entities. To achieve this, they either use shallow linear transformations or deep convolutional modules. However, the linear transformations suffer from the expressiveness issue while the deep convolutional modules introduce unnecessary inductive bias, which could potentially degrade the model performance. Thus, we propose a novel Transformer-based Patch Refinement Model (PatReFormer) for KGC. PatReFormer first segments the embedding into a sequence of patches and then employs cross-attention modules to allow bi-directional embedding feature interaction between the entities and relations, leading to a better understanding of the underlying KG. We conduct experiments on four popular KGC benchmarks, WN18RR, FB15k-237, YAGO37 and DB100K. The experimental results show significant performance improvement from existing KGC methods on standard KGC evaluation metrics, e.g., MRR and H@n. Our analysis first verifies the effectiveness of our model design choices in PatReFormer. We then find that PatReFormer can better capture KG information from a large relation embedding dimension. Finally, we demonstrate that the strength of PatReFormer is at complex relation types, compared to other KGC models
• Abstract（参考訳）: 知識グラフ補完(KGC)は、特定の知識グラフ(KG)から行方不明の事実を参照するタスクである。 従来のKGCメソッドは、知識グラフのエンティティとリレーションをトレーニング可能な連続的な埋め込みとして表現し、エンティティ $h$ (or $t$) とリレーション $r$ の埋め込みをクエリ $(h, r, ?)$ (or $(?, r, t$)) の隠れ表現に融合して、欠落したエンティティを近似する。 これを達成するために、浅い線形変換や深い畳み込み加群を使う。 しかし、線形変換は表現性の問題に苦しみ、深い畳み込み加群は不要な帰納的バイアスをもたらし、モデルの性能を低下させる可能性がある。 そこで本研究では,新しい変圧器型パッチリファインメントモデル(patreformer)を提案する。 PatReFormerはまず、埋め込みをパッチのシーケンスに分割し、次にクロスアテンションモジュールを使用してエンティティとリレーション間の双方向の埋め込み機能インタラクションを可能にし、基礎となるKGをよりよく理解する。 我々は4つのKGCベンチマーク(WN18RR, FB15k-237, YAGO37, DB100K)で実験を行った。 実験の結果,MRR や H@n などの標準 KGC 評価指標を用いた既存の KGC 手法による性能改善が見られた。 分析はまず,patreformerにおけるモデル設計選択の有効性を検証する。 その後、PatReFormerは、大きな関係埋め込み次元からKG情報をよりよくキャプチャできることがわかった。 最後に、PatReFormerの強みは他のKGCモデルと比較して複雑な関係型であることを示す。

関連論文リスト

• Knowledge Graph Embeddings: A Comprehensive Survey on Capturing Relation Properties [5.651919225343915]
  知識グラフ埋め込み(KGE)技術は、記号的知識グラフを数値表現に変換する上で重要な役割を果たしている。 本稿では、一対一、一対多、多対一、多対多といった関係に固有の複素写像特性について述べる。 我々は、KGEにマルチモーダル情報を統合すること、規則付き関係パターンモデリングを強化すること、動的KGE設定における関係特性を捉えるモデルを開発することなど、革新的なアイデアを探求する。
  論文  参考訳（メタデータ） (2024-10-16T08:54:52Z)
• Complex Logical Query Answering by Calibrating Knowledge Graph Completion Models [7.051174443949839]
  複雑な論理的クエリ応答タスクは、不完全知識グラフ上の複雑な論理的クエリに対する応答エンティティを見つけることを含む。 これまでの研究では、KGに欠けている事実を予測できる事前学習知識グラフ補完(KGC)モデルの使用について検討されてきた。 そこで本研究では,複雑な論理的クエリに適応可能なKGCモデルのキャリブレーション手法であるCKGCを提案する。
  論文  参考訳（メタデータ） (2024-09-30T06:51:50Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• A Comprehensive Study on Knowledge Graph Embedding over Relational Patterns Based on Rule Learning [49.09125100268454]
  KGE(Knowledge Graph Embedding)は、KGC(Knowledge Completion Graph)タスクを解決するための効果的なアプローチであることが証明されている。 関係パターンはKGEモデルの性能において重要な要素である。 我々は,KGEモデルの性能を様々な関係パターン上で向上させるトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:30:57Z)
• Pre-training Transformers for Knowledge Graph Completion [81.4078733132239]
  知識グラフの伝達可能な表現を学習するための新しい帰納的KG表現モデル(iHT)を提案する。 iHT はエンティティエンコーダ (BERT など) と、Transformer によってパラメータ化される隣り合うリレーショナルスコアリング関数からなる。 提案手法は,従来のSOTAモデルに比べて25%以上の相対的相互ランクの改善が得られた。
  論文  参考訳（メタデータ） (2023-03-28T02:10:37Z)
• KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models [76.01814380927507]
  KGxBoardは、データの意味のあるサブセットを詳細に評価するためのインタラクティブなフレームワークである。 実験では,KGxBoardを用いることで,標準平均シングルスコアメトリクスでは検出が不可能であったことを強調した。
  論文  参考訳（メタデータ） (2022-08-23T15:11:45Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• Sequence-to-Sequence Knowledge Graph Completion and Question Answering [8.207403859762044]
  既製のエンコーダ・デコーダ変換器モデルは,スケーラブルで汎用的なKGEモデルとして機能することを示す。 我々は,KGリンク予測をシーケンス・ツー・シーケンス・タスクとして用い,従来のKGE手法による3つのスコアリングアプローチを自己回帰復号化と交換することで,これを実現する。
  論文  参考訳（メタデータ） (2022-03-19T13:01:49Z)
• Rethinking Graph Convolutional Networks in Knowledge Graph Completion [83.25075514036183]
  グラフ畳み込みネットワーク(GCN)は知識グラフ補完(KGC)においてますます人気が高まっている。 本稿では,代表的なGCNベースのKGCモデルを構築し,GCNのどの要因がKGCに重要なのかを明らかにする。 本稿では,既存のKGEモデルに線形変換されたエンティティ埋め込みを組み込む,LTE-KGEというシンプルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-08T11:36:18Z)
• Knowledge Generation -- Variational Bayes on Knowledge Graphs [0.685316573653194]
  この論文は、現実世界の知識グラフの表現に関するVari Auto-Encoder (VAE) の概念実証である。 生成グラフへのアプローチの成功に触発されて,本モデルである変分オートエンコーダ(rgvae)の能力を評価する。 RGVAEはリンク予測に基づいて評価される。 2つのFB15K-237およびWN18RRデータセットの平均相互ランク(MRR)スコアを比較します。 2次実験における潜伏空間について検討する:まず、2つの三重項の潜伏表現の間の線型、そして各三重項の探索
  論文  参考訳（メタデータ） (2021-01-21T21:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。