論文の概要: I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning

• arxiv url: http://arxiv.org/abs/2208.09828v1
• Date: Sun, 21 Aug 2022 07:34:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 12:17:02.053885
• Title: I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning
• Title（参考訳）: 知らないこと:共蒸留学習による知識グラフの埋め込み
• Authors: Yang Liu and Zequn Sun Guangyao Li and Wei Hu
• Abstract要約: 知識グラフの埋め込みは、実体と関係のベクトル表現を学習しようとする。 近年の研究では、事前学習された言語モデルを用いて、実体や関係のテキスト情報に基づいて埋め込みを学習している。 我々は,グラフ構造とテキスト情報の補完を利用するKG Embeddingの共蒸留学習手法であるCoLEを提案する。
• 参考スコア（独自算出の注目度）: 16.723470319188102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph (KG) embedding seeks to learn vector representations for entities and relations. Conventional models reason over graph structures, but they suffer from the issues of graph incompleteness and long-tail entities. Recent studies have used pre-trained language models to learn embeddings based on the textual information of entities and relations, but they cannot take advantage of graph structures. In the paper, we show empirically that these two kinds of features are complementary for KG embedding. To this end, we propose CoLE, a Co-distillation Learning method for KG Embedding that exploits the complementarity of graph structures and text information. Its graph embedding model employs Transformer to reconstruct the representation of an entity from its neighborhood subgraph. Its text embedding model uses a pre-trained language model to generate entity representations from the soft prompts of their names, descriptions, and relational neighbors. To let the two model promote each other, we propose co-distillation learning that allows them to distill selective knowledge from each other's prediction logits. In our co-distillation learning, each model serves as both a teacher and a student. Experiments on benchmark datasets demonstrate that the two models outperform their related baselines, and the ensemble method CoLE with co-distillation learning advances the state-of-the-art of KG embedding.
• Abstract（参考訳）: 知識グラフ(KG)埋め込みは、実体と関係のベクトル表現を学習しようとする。 従来のモデルはグラフ構造を推論するが、グラフの不完全性とロングテールエンティティの問題に苦しむ。 最近の研究では、事前学習された言語モデルを使用して、エンティティとリレーションのテキスト情報に基づいて埋め込みを学ぶが、グラフ構造を活用できない。 本稿では,これら2種類の特徴がkg埋め込みに相補的であることを実証的に示す。 そこで本研究では,グラフ構造とテキスト情報の相補性を利用したKG埋め込みの共蒸留学習手法であるCoLEを提案する。 グラフ埋め込みモデルはtransformerを使用して、その近傍のサブグラフからエンティティの表現を再構築する。 そのテキスト埋め込みモデルは、事前学習された言語モデルを使用して、名前、記述、関係の隣人のソフトプロンプトからエンティティ表現を生成する。 本研究では,2つのモデルを相互に促進するために,相互の予測ロジットから選択的な知識を抽出できる共蒸留学習を提案する。 共蒸留学習では、各モデルは教師と学生の両方として機能する。 ベンチマークデータセットの実験では、2つのモデルが関連するベースラインより優れており、共蒸留学習のColeはKG埋め込みの最先端を前進させる。

関連論文リスト

• Graph Relation Distillation for Efficient Biomedical Instance Segmentation [80.51124447333493]
  本稿では,効率的なバイオメディカル・インスタンス・セグメンテーションのためのグラフ関係蒸留手法を提案する。 画像内レベルと画像間レベルの両方に展開する2つのグラフ蒸留方式を導入する。 多くのバイオメディカルデータセットの実験結果から,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-01-12T04:41:23Z)
• Connector 0.5: A unified framework for graph representation learning [5.398580049917152]
  本稿では,浅層から最先端まで,様々なグラフ埋め込みモデルをカバーする新しいグラフ表現フレームワークを提案する。 我々は,グラフの構造的関係を表現するためのディープグラフ埋め込みモデルを提供する,効率的なオープンソースフレームワークを構築する計画である。
  論文  参考訳（メタデータ） (2023-04-25T23:28:38Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• DGEKT: A Dual Graph Ensemble Learning Method for Knowledge Tracing [20.71423236895509]
  知識追跡のための新しいデュアルグラフアンサンブル学習法(DGEKT)を提案する。 DGEKTは、学生の学習相互作用の二重グラフ構造を確立し、不均一な運動概念の関連を捉える。 オンライン知識蒸留は、より優れたモデリング能力のための追加の監督として、すべての訓練に関する予測を提供する。
  論文  参考訳（メタデータ） (2022-11-23T11:37:35Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Learning Representations of Entities and Relations [0.0]
  この論文は,リンク予測タスクに取り組むことを目的とした知識グラフ表現の改善に焦点を当てている。 最初のコントリビューションはHypERであり、リンク予測性能を単純化し改善する畳み込みモデルである。 第2のコントリビューションは比較的単純な線形モデルであるTuckERで、このモデルが導入された時点では、最先端のリンク予測性能が得られた。 第3の貢献は、双曲空間に埋め込まれた最初のマルチリレーショナルグラフ表現モデルである MuRP である。
  論文  参考訳（メタデータ） (2022-01-31T09:24:43Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。