論文の概要: Joint Pre-training and Local Re-training: Transferable Representation Learning on Multi-source Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2306.02679v1
• Date: Mon, 5 Jun 2023 08:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 16:21:07.695287
• Title: Joint Pre-training and Local Re-training: Transferable Representation Learning on Multi-source Knowledge Graphs
• Title（参考訳）: 同時事前学習と局所再学習--多元知識グラフを用いた転送可能表現学習
• Authors: Zequn Sun and Jiacheng Huang and Jinghao Lin and Xiaozhou Xu and Qijin Chen and Wei Hu
• Abstract要約: 我々は、リンクされたマルチソースKG上で大規模な教師KG埋め込みモデルを事前訓練し、課題固有のKGのための学生モデルを学ぶための知識を蒸留する。 フレームワークの有効性と効率を実証するために、広範な実験を行う。
• 参考スコア（独自算出の注目度）: 17.78174810566248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present the ``joint pre-training and local re-training'' framework for learning and applying multi-source knowledge graph (KG) embeddings. We are motivated by the fact that different KGs contain complementary information to improve KG embeddings and downstream tasks. We pre-train a large teacher KG embedding model over linked multi-source KGs and distill knowledge to train a student model for a task-specific KG. To enable knowledge transfer across different KGs, we use entity alignment to build a linked subgraph for connecting the pre-trained KGs and the target KG. The linked subgraph is re-trained for three-level knowledge distillation from the teacher to the student, i.e., feature knowledge distillation, network knowledge distillation, and prediction knowledge distillation, to generate more expressive embeddings. The teacher model can be reused for different target KGs and tasks without having to train from scratch. We conduct extensive experiments to demonstrate the effectiveness and efficiency of our framework.
• Abstract（参考訳）: 本稿では,多元知識グラフ(kg)組込みの学習と適用のための ‘joint pre-training and local re-training'' フレームワークを提案する。 我々は,KGの埋め込みや下流タスクを改善するために,異なるKGが相補的な情報を含んでいるという事実を動機としている。 リンクされた多元kg上に大きな教師kg埋め込みモデルを事前学習し,タスク特化kgの学習モデルを構築するための知識を蒸留する。 異なるKG間の知識伝達を可能にするため、事前学習されたKGと対象KGを接続するためのリンクされたサブグラフを構築するためにエンティティアライメントを使用する。 リンクされたサブグラフは、教師から生徒への3段階の知識蒸留、すなわち特徴知識蒸留、ネットワーク知識蒸留、予測知識蒸留のために再訓練され、より表現力のある埋め込みを生成する。 教師モデルは、スクラッチからトレーニングすることなく、異なるターゲットKGやタスクに対して再利用することができる。 フレームワークの有効性と効率を実証するための広範な実験を行う。

関連論文リスト

• Towards a Knowledge Graph for Teaching Knowledge Graphs [2.59358872905719]
  本論文は、知識グラフ(KGs)の教育ニーズに合わせて、ユースケース駆動型知識グラフリソースを作成するための現在進行中の研究プロジェクトについて述べる。 我々は、セマンティックWebコミュニティが提供する講義から、COSTアクション分散知識グラフとアランチューリング研究所のKGに関する関心グループを用いて、KGコースに関連するリソースを収集する。 我々のゴールは、複数の相互接続された意味層を持つリソース中心のKGを作成し、各講師とトピック、コース、教材を相互にリンクすることである。
  論文  参考訳（メタデータ） (2024-11-02T16:39:45Z)
• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• On the Sweet Spot of Contrastive Views for Knowledge-enhanced Recommendation [49.18304766331156]
  KG強化推薦のための新しいコントラスト学習フレームワークを提案する。 我々は、KGとIGのための2つの異なるコントラストビューを構築し、それらの相互情報を最大化する。 実世界の3つのデータセットに対する大規模な実験結果から,本手法の有効性と有効性が確認された。
  論文  参考訳（メタデータ） (2023-09-23T14:05:55Z)
• Collective Knowledge Graph Completion with Mutual Knowledge Distillation [11.922522192224145]
  我々は,異なるKGからの集合的知識の最大化に焦点をあてるマルチKG完備化の問題について検討する。 CKGC-CKDと呼ばれる,個々のKGと大きな融合KGの両方で,関係対応グラフ畳み込みネットワークエンコーダモデルを用いる新しい手法を提案する。 複数言語データセットによる実験結果から,本手法はKGCタスクにおけるすべての最先端モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-25T09:49:40Z)
• Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs [22.88552158340435]
  既存の知識グラフ埋め込みモデルは、主に静的KGに焦点を当てている。 新たな事実やそれまで目に見えない存在や関係が絶えず現れ、成長を通じて新しい知識を素早く学び、伝達できる埋め込みモデルが必要になります。 我々は,KGのスナップショットをスクラッチから学習することなく,学習の知識伝達と保持を考察する。 提案モデルでは,学習と更新のマスク付きKGオートエンコーダと,学習知識を新たなエンティティや関係埋め込みに注入するための埋め込み転送戦略と,破滅的忘れを避けるための埋め込み正規化手法を備える。
  論文  参考訳（メタデータ） (2022-11-29T00:43:44Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• Collaborative Knowledge Graph Fusion by Exploiting the Open Corpus [59.20235923987045]
  知識表現の質を維持しながら、新たに収穫した3倍の知識グラフを豊かにすることは困難である。 本稿では,付加コーパスから得られる情報を用いてKGを精製するシステムを提案する。
  論文  参考訳（メタデータ） (2022-06-15T12:16:10Z)
• Meta-Learning Based Knowledge Extrapolation for Knowledge Graphs in the Federated Setting [43.85991094675398]
  本稿では,新たな知識グラフ(KG)をフェデレートした環境に組み込むための知識補間問題について検討する。 この問題では、既存のKGでトレーニングされたモデルが、未知の実体と関係を持つ新しいKGを組み込む必要がある。 メタラーニング設定では、既存のKG上に一連のタスクをサンプリングし、新興KG上のリンク予測タスクを模倣する。 サンプルタスクに基づいてグラフニューラルネットワークフレームワークをメタトレーニングし,構造情報に基づく未知のコンポーネントの機能の構築と,それらに対する出力埋め込みを実現する。
  論文  参考訳（メタデータ） (2022-05-10T06:27:32Z)
• Standing on the Shoulders of Predecessors: Meta-Knowledge Transfer for Knowledge Graphs [8.815143812846392]
  このような知識をメタ知識と呼び、構築された(ソース)KGから新しい(ターゲット)KGへメタ知識を転送する問題を参照する。 MorsEは知識グラフ埋め込みを通じてメタ知識を表現し、メタ学習によってメタ知識を学ぶ。 MorsEはKG間のメタ知識を効果的に学習し、伝達することができ、既存の最先端モデルより優れている。
  論文  参考訳（メタデータ） (2021-10-27T04:57:16Z)
• Language Models are Open Knowledge Graphs [75.48081086368606]
  近年の深層言語モデルは,事前学習を通じて大規模コーパスから知識を自動取得する。 本稿では,言語モデルに含まれる知識をKGにキャストするための教師なし手法を提案する。 KGは、コーパス上の(微調整なしで)事前訓練された言語モデルの1つの前方パスで構築されていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T18:01:56Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。