論文の概要: Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2004.14781v2
• Date: Wed, 24 Feb 2021 03:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:14:44.355003
• Title: Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion
• Title（参考訳）: 効率的な知識グラフ補完のための構造強化テキスト表現学習
• Authors: Bo Wang, Tao Shen, Guodong Long, Tianyi Zhou, Yi Chang
• Abstract要約: 人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
• 参考スコア（独自算出の注目度）: 53.31911669146451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-curated knowledge graphs provide critical supportive information to various natural language processing tasks, but these graphs are usually incomplete, urging auto-completion of them. Prevalent graph embedding approaches, e.g., TransE, learn structured knowledge via representing graph elements into dense embeddings and capturing their triple-level relationship with spatial distance. However, they are hardly generalizable to the elements never visited in training and are intrinsically vulnerable to graph incompleteness. In contrast, textual encoding approaches, e.g., KG-BERT, resort to graph triple's text and triple-level contextualized representations. They are generalizable enough and robust to the incompleteness, especially when coupled with pre-trained encoders. But two major drawbacks limit the performance: (1) high overheads due to the costly scoring of all possible triples in inference, and (2) a lack of structured knowledge in the textual encoder. In this paper, we follow the textual encoding paradigm and aim to alleviate its drawbacks by augmenting it with graph embedding techniques -- a complementary hybrid of both paradigms. Specifically, we partition each triple into two asymmetric parts as in translation-based graph embedding approach, and encode both parts into contextualized representations by a Siamese-style textual encoder. Built upon the representations, our model employs both deterministic classifier and spatial measurement for representation and structure learning respectively. Moreover, we develop a self-adaptive ensemble scheme to further improve the performance by incorporating triple scores from an existing graph embedding model. In experiments, we achieve state-of-the-art performance on three benchmarks and a zero-shot dataset for link prediction, with highlights of inference costs reduced by 1-2 orders of magnitude compared to a textual encoding method.
• Abstract（参考訳）: 人間による知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供するが、これらのグラフは通常不完全であり、自動補完を促す。 一般的なグラフ埋め込みアプローチ、例えばTransEは、グラフ要素を密度の高い埋め込みに表現し、空間距離と三重レベルの関係を捉えることによって構造化知識を学ぶ。 しかし、これらは訓練で訪れたことのない要素に対してほとんど一般化できず、本質的にグラフの不完全性に弱い。 対照的に、KG-BERTのようなテキストエンコーディングアプローチは、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。 それらは十分に一般化可能であり、特に事前訓練されたエンコーダと組み合わせた場合、不完全性に対して堅牢である。 しかし、2つの大きな欠点は、(1)推論における全ての可能なトリプルのコストスコアによる高いオーバーヘッド、(2)テキストエンコーダにおける構造化知識の欠如である。 本稿では,テキストエンコーディングのパラダイムを踏襲し,グラフ埋め込み技術によってその欠点を増大させ,両パラダイムの相補的ハイブリッド化を図り,その欠点を軽減することを目的とする。 具体的には、各三重項を、翻訳ベースのグラフ埋め込みアプローチのように2つの非対称部分に分け、両方の部分をシャム式テキストエンコーダによって文脈化された表現に符号化する。 本モデルでは,表現と構造学習に決定論的分類器と空間計測の両方を用いる。 さらに,既存のグラフ埋め込みモデルからトリプルスコアを取り込むことにより,パフォーマンスをさらに向上させる自己適応型アンサンブルスキームを開発した。 実験では,3つのベンチマークとリンク予測のためのゼロショットデータセットで最先端のパフォーマンスを実現し,テキスト符号化法と比較して推論コストを1～2桁削減した。

関連論文リスト

• Node Level Graph Autoencoder: Unified Pretraining for Textual Graph Learning [45.70767623846523]
  我々は,Node Level Graph AutoEncoder (NodeGAE) という,教師なしの新たな学習オートエンコーダフレームワークを提案する。 我々は、自動エンコーダのバックボーンとして言語モデルを使用し、テキスト再構成を事前訓練する。 本手法は,学習過程における単純さを維持し,多種多様なテキストグラフや下流タスクの一般化性を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:57:53Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision [77.34726150561087]
  現在の方法では、事前訓練されたモデルからの実体と述語埋め込みを使わずに、スクラッチから三重埋め込みを学習する。 本研究では,知識グラフからトリプルを自動抽出し,事前学習した埋め込みモデルからそれらのペアの類似性を推定する手法を開発した。 これらのペアの類似度スコアは、細い三重表現のためにシームズ様のニューラルネットワークに供給される。
  論文  参考訳（メタデータ） (2022-08-22T14:07:08Z)
• VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure Knowledge on Sparse Knowledge Graph Completion [14.537509860565706]
  本稿では,テキストから抽出した知識と構造化メッセージから抽出した知識を統一化するための,スパース知識グラフ上のプラグイン・アンド・プレイ・フレームワーク VEM2L を提案する。 具体的には、モデルによって得られた知識を2つの非重複部分に分割する。 また、モデルの一般化能力を融合させるために、変分EMアルゴリズムによって証明された新しい融合戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-04T15:50:21Z)
• FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations [114.94628499698096]
  文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。 MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。 事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
  論文  参考訳（メタデータ） (2022-04-13T16:45:33Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。