論文の概要: Integrating Knowledge Graph embedding and pretrained Language Models in Hypercomplex Spaces

• arxiv url: http://arxiv.org/abs/2208.02743v1
• Date: Thu, 4 Aug 2022 16:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-05 12:11:09.494256
• Title: Integrating Knowledge Graph embedding and pretrained Language Models in Hypercomplex Spaces
• Title（参考訳）: 超複素空間における知識グラフ埋め込みと事前学習言語モデルの統合
• Authors: Mojtaba Nayyeri, Zihao Wang, Mst. Mahfuja Akter, Mirza Mohtashim Alam, Md Rashad Al Hasan Rony, Jens Lehmann, Steffen Staab
• Abstract要約: 我々は、単一モジュラリティの既存の強表現の上に構築し、(i)単一モジュラリティ埋め込みと(ii)異なるモジュラリティ間の相互作用を表現するために超複素代数を使用する。 より具体的には、4次元超複素数のディヘドロンと四元数表現を、構造知識グラフの埋め込み、単語レベルの表現、文書レベルの表現という4つのモダリティを統合するよう提案する。 我々の統一ベクトル表現はハミルトン積とディヘドロン積を通じてラベル付きエッジの可算性を評価し、異なるモジュラリティ間のペアワイズ相互作用をモデル化する。
• 参考スコア（独自算出の注目度）: 16.66385707113881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graphs, such as Wikidata, comprise structural and textual knowledge in order to represent knowledge. For each of the two modalities dedicated approaches for graph embedding and language models learn patterns that allow for predicting novel structural knowledge. Few approaches have integrated learning and inference with both modalities and these existing ones could only partially exploit the interaction of structural and textual knowledge. In our approach, we build on existing strong representations of single modalities and we use hypercomplex algebra to represent both, (i), single-modality embedding as well as, (ii), the interaction between different modalities and their complementary means of knowledge representation. More specifically, we suggest Dihedron and Quaternion representations of 4D hypercomplex numbers to integrate four modalities namely structural knowledge graph embedding, word-level representations (e.g.\ Word2vec, Fasttext), sentence-level representations (Sentence transformer), and document-level representations (sentence transformer, Doc2vec). Our unified vector representation scores the plausibility of labelled edges via Hamilton and Dihedron products, thus modeling pairwise interactions between different modalities. Extensive experimental evaluation on standard benchmark datasets shows the superiority of our two new models using abundant textual information besides sparse structural knowledge to enhance performance in link prediction tasks.
• Abstract（参考訳）: Wikidataのような知識グラフは、知識を表現するために構造的およびテキスト的知識から構成される。 グラフ埋め込みと言語モデルのための2つのモダリティはそれぞれ、新しい構造的知識を予測するパターンを学習する。 学習と推論を両方のモダリティに統合したアプローチはほとんどなく、既存のアプローチは構造的知識とテキスト的知識の相互作用を部分的に活用するしかなかった。 我々のアプローチでは、単一モダリティの既存の強表現の上に構築し、両方の表現に超複素代数を用いる。 (i)単一モダリティの埋め込み、及び (ii) 異なるモダリティ間の相互作用とその相補的な知識表現手段。 具体的には、構造的知識グラフ埋め込み、単語レベルの表現(例えば、word2vec, fasttext)、文レベルの表現(sentence transformer)、文書レベルの表現(sentence transformer, doc2vec)の4つのモダリティを統合するために、4次元超複素数のディヘドロンおよび四元表現を提案する。 我々の統一ベクトル表現はハミルトン積とディヘドロン積を通じてラベル付きエッジの可算性を評価し、異なるモジュラリティ間のペアワイズ相互作用をモデル化する。 標準ベンチマークデータセットの広範囲な実験評価により,リンク予測タスクの性能向上のための構造的知識の欠如に加えて,豊富なテキスト情報を用いた2つの新モデルの優位性が示された。

関連論文リスト

• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [25.56539617837482]
  コンテキスト対応グラフアテンションモデル(Context-aware GAT)を提案する。 これは、コンテキスト強化された知識集約機構を通じて、関連する知識グラフからグローバルな特徴を同化する。 実験により,本フレームワークは従来のGNNベース言語モデルよりも性能が優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-10T16:31:35Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure Knowledge on Sparse Knowledge Graph Completion [14.537509860565706]
  本稿では,テキストから抽出した知識と構造化メッセージから抽出した知識を統一化するための,スパース知識グラフ上のプラグイン・アンド・プレイ・フレームワーク VEM2L を提案する。 具体的には、モデルによって得られた知識を2つの非重複部分に分割する。 また、モデルの一般化能力を融合させるために、変分EMアルゴリズムによって証明された新しい融合戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-04T15:50:21Z)
• Building Knowledge-Grounded Dialogue Systems with Graph-Based Semantic Modeling [43.0554223015728]
  知識基盤対話タスクは、与えられた知識文書から情報を伝える応答を生成することを目的としている。 対話と知識の両方のセマンティック構造をモデル化する新しいグラフ構造であるグラウンドドグラフを提案する。 また,知識接地応答生成を向上するグラウンドドグラフ認識変換器を提案する。
  論文  参考訳（メタデータ） (2022-04-27T03:31:46Z)
• Learning Representations of Entities and Relations [0.0]
  この論文は,リンク予測タスクに取り組むことを目的とした知識グラフ表現の改善に焦点を当てている。 最初のコントリビューションはHypERであり、リンク予測性能を単純化し改善する畳み込みモデルである。 第2のコントリビューションは比較的単純な線形モデルであるTuckERで、このモデルが導入された時点では、最先端のリンク予測性能が得られた。 第3の貢献は、双曲空間に埋め込まれた最初のマルチリレーショナルグラフ表現モデルである MuRP である。
  論文  参考訳（メタデータ） (2022-01-31T09:24:43Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。