Fugu-MT 論文翻訳(概要): On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling

論文の概要: On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling

arxiv url: http://arxiv.org/abs/2010.05732v1
Date: Mon, 12 Oct 2020 14:26:48 GMT
ステータス: 処理完了
システム内更新日: 2022-10-08 05:38:20.203020
Title: On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
Title（参考訳）: 知識グラフ埋め込み, 微細粒状エンティティタイプ, 言語モデリングの相補性について
Authors: Rajat Patel and Francis Ferraro
Abstract要約: 言語モデルにインスパイアされた知識グラフの埋め込み手法は知識グラフの埋め込みと微粒な実体型表現の両方をもたらすことを示す。私たちの研究は、構造化知識と言語の両方のモデリングが共に改善していることも示しています。
参考スコア（独自算出の注目度）: 10.457423272041332
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We demonstrate the complementary natures of neural knowledge graph embedding, fine-grain entity type prediction, and neural language modeling. We show that a language model-inspired knowledge graph embedding approach yields both improved knowledge graph embeddings and fine-grain entity type representations. Our work also shows that jointly modeling both structured knowledge tuples and language improves both.
Abstract（参考訳）: 本稿では,ニューラル知識グラフの埋め込み,微粒実体型予測,ニューラル言語モデリングの相補的な性質を実証する。言語モデルにインスパイアされた知識グラフの埋め込み手法は知識グラフの埋め込みと微粒な実体型表現の両方をもたらすことを示す。私たちの研究は、構造化された知識タプルと言語の両方を共同でモデリングすることも示しています。

関連論文リスト

Compositional Generalization with Grounded Language Models [9.96679221246835]
基底言語モデルは、知識グラフのような外部情報ソースを使用して、事前学習に関連する一般的な課題を満たす。本研究では,構成性の異なる側面を対象とする知識グラフと組み合わせた自然言語質問を生成する手法を開発した。
論文参考訳（メタデータ） (2024-06-07T14:56:51Z)
CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [25.56539617837482]
コンテキスト対応グラフアテンションモデル(Context-aware GAT)を提案する。これは、コンテキスト強化された知識集約機構を通じて、関連する知識グラフからグローバルな特徴を同化する。実験により,本フレームワークは従来のGNNベース言語モデルよりも性能が優れていることが示された。
論文参考訳（メタデータ） (2023-05-10T16:31:35Z)
KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
論文参考訳（メタデータ） (2022-11-04T20:38:12Z)
Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文参考訳（メタデータ） (2022-09-19T02:41:02Z)
I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning [16.723470319188102]
知識グラフの埋め込みは、実体と関係のベクトル表現を学習しようとする。近年の研究では、事前学習された言語モデルを用いて、実体や関係のテキスト情報に基づいて埋め込みを学習している。我々は,グラフ構造とテキスト情報の補完を利用するKG Embeddingの共蒸留学習手法であるCoLEを提案する。
論文参考訳（メタデータ） (2022-08-21T07:34:37Z)
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding [1.5469452301122175]
知識グラフの埋め込みは, トポロジカル言語, カテゴリー言語で自然に表現されていることを示す。知識グラフの埋め込みは、グラフ上の適切なテクスチャ知識棚の近似グローバルセクションとして記述することができる。結果として得られる埋め込みは、特別な訓練をせずに合成関係の推論に容易に適応できる。
論文参考訳（メタデータ） (2021-10-07T20:54:40Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
論文参考訳（メタデータ） (2020-10-02T05:53:36Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)
A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts [81.4757750425247]
動的テキスト環境における質問応答について検討する。構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
論文参考訳（メタデータ） (2020-04-25T04:53:54Z)
Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。