論文の概要: VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure Knowledge on Sparse Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2207.01528v1
• Date: Mon, 4 Jul 2022 15:50:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 14:45:59.629077
• Title: VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure Knowledge on Sparse Knowledge Graph Completion
• Title（参考訳）: VEM$^2$L: Sparse Knowledge Graph Completion上でテキストと構造知識を融合するプラグイン・アンド・プレイフレームワーク
• Authors: Tao He, Tianwen Jiang, Zihao Zheng, Haichao Zhu, Jingrun Zhang, Ming Liu, Sendong Zhao and Bin Qin
• Abstract要約: 本稿では,テキストから抽出した知識と構造化メッセージから抽出した知識を統一化するための,スパース知識グラフ上のプラグイン・アンド・プレイ・フレームワーク VEM2L を提案する。 具体的には、モデルによって得られた知識を2つの非重複部分に分割する。 また、モデルの一般化能力を融合させるために、変分EMアルゴリズムによって証明された新しい融合戦略を提案する。
• 参考スコア（独自算出の注目度）: 14.537509860565706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graph Completion has been widely studied recently to complete missing elements within triples via mainly modeling graph structural features, but performs sensitive to the sparsity of graph structure. Relevant texts like entity names and descriptions, acting as another expression form for Knowledge Graphs (KGs), are expected to solve this challenge. Several methods have been proposed to utilize both structure and text messages with two encoders, but only achieved limited improvements due to the failure to balance weights between them. And reserving both structural and textual encoders during inference also suffers from heavily overwhelmed parameters. Motivated by Knowledge Distillation, we view knowledge as mappings from input to output probabilities and propose a plug-and-play framework VEM2L over sparse KGs to fuse knowledge extracted from text and structure messages into a unity. Specifically, we partition knowledge acquired by models into two nonoverlapping parts: one part is relevant to the fitting capacity upon training triples, which could be fused by motivating two encoders to learn from each other on training sets; the other reflects the generalization ability upon unobserved queries. And correspondingly, we propose a new fusion strategy proved by Variational EM algorithm to fuse the generalization ability of models, during which we also apply graph densification operations to further alleviate the sparse graph problem. By combining these two fusion methods, we propose VEM2L framework finally. Both detailed theoretical evidence, as well as quantitative and qualitative experiments, demonstrates the effectiveness and efficiency of our proposed framework.
• Abstract（参考訳）: ナレッジグラフ補完は、主にグラフ構造の特徴をモデル化することで三重項内の欠落要素を完成させるために近年広く研究されているが、グラフ構造のスパーシティに敏感に作用する。 知識グラフ(kgs)の別の表現形式として機能するエンティティ名や説明といった関連テキストはこの課題を解決することが期待されている。 構造メッセージとテキストメッセージの両方を2つのエンコーダで使う方法が提案されているが、重みのバランスが取れなかったため、限られた改善しか得られなかった。 推論中に構造的エンコーダとテキスト的エンコーダの両方を保存するのも、圧倒的なパラメータに苦しむ。 知識蒸留により,知識を入力から出力確率へのマッピングとみなし,テキストから抽出した知識を統一化するために,スパースKG上でのプラグアンドプレイフレームワークVEM2Lを提案する。 具体的には、モデルによって得られた知識を、2つの非重複部分に分割する: 1つはトレーニング三重項の適合能力に関係しており、2つのエンコーダがトレーニングセットで互いに学習する動機付けをすることで融合することができる。 また,モデルの一般化能力を融合させるために,変分EMアルゴリズムによって証明された新たな融合戦略を提案し,その間,スパースグラフ問題をさらに緩和するためにグラフ密度化演算を適用した。 これら2つの融合法を組み合わせることで,最終的にVEM2Lフレームワークを提案する。 詳細な理論的証拠と定量的・質的実験の両方が,提案手法の有効性と有効性を示している。

関連論文リスト

• iText2KG: Incremental Knowledge Graphs Construction Using Large Language Models [0.7165255458140439]
  iText2KGは、後処理なしで漸進的にトピックに依存しない知識グラフを構築する方法である。 提案手法は,3つのシナリオにまたがるベースライン手法と比較して,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-05T06:49:14Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Investigating Graph Structure Information for Entity Alignment with Dangling Cases [31.779386064600956]
  エンティティアライメントは、異なる知識グラフ(KG)における等価なエンティティを見つけることを目的としている。 Weakly-optimal Graph Contrastive Learning (WOGCL) と呼ばれる新しいエンティティアライメントフレームワークを提案する。 We show that WOGCL are outperforms the current-of-the-art method with pure structure information in traditional (relaxed) and dangling settings。
  論文  参考訳（メタデータ） (2023-04-10T17:24:43Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• SEEK: Segmented Embedding of Knowledge Graphs [77.5307592941209]
  本稿では,モデル複雑性を増大させることなく,高い競争力を持つ関係表現性を実現する軽量なモデリングフレームワークを提案する。 本フレームワークは,評価関数の設計に重点を置いており,1)十分な特徴相互作用の促進,2)関係の対称性と反対称性の両特性の保存,という2つの重要な特徴を強調している。
  論文  参考訳（メタデータ） (2020-05-02T15:15:50Z)
• ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
  実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。 我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。 本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:16:19Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。