論文の概要: Mutually-paced Knowledge Distillation for Cross-lingual Temporal Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2303.14898v1
• Date: Mon, 27 Mar 2023 03:15:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 16:56:00.457016
• Title: Mutually-paced Knowledge Distillation for Cross-lingual Temporal Knowledge Graph Reasoning
• Title（参考訳）: 言語間時間知識グラフ推論のための相互ペース知識蒸留
• Authors: Ruijie Wang, Zheng Li, Jingfeng Yang, Tianyu Cao, Chao Zhang, Bing Yin and Tarek Abdelzaher
• Abstract要約: 言語間の時間的知識グラフ推論問題は,低リソース言語における時間的知識グラフの推論を容易にすることを目的としている。 知識伝達のブリッジとして機能する言語間アライメントは通常、2つのTKG間で十分な知識を伝達するには不十分である。 本稿では,TKGをトレーニングした教師ネットワークが,TKGを対象とする学生ネットワークのトレーニングをガイドできる,相互に接触した知識蒸留モデルMP-KDを提案する。
• 参考スコア（独自算出の注目度）: 16.99554163115082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates cross-lingual temporal knowledge graph reasoning problem, which aims to facilitate reasoning on Temporal Knowledge Graphs (TKGs) in low-resource languages by transfering knowledge from TKGs in high-resource ones. The cross-lingual distillation ability across TKGs becomes increasingly crucial, in light of the unsatisfying performance of existing reasoning methods on those severely incomplete TKGs, especially in low-resource languages. However, it poses tremendous challenges in two aspects. First, the cross-lingual alignments, which serve as bridges for knowledge transfer, are usually too scarce to transfer sufficient knowledge between two TKGs. Second, temporal knowledge discrepancy of the aligned entities, especially when alignments are unreliable, can mislead the knowledge distillation process. We correspondingly propose a mutually-paced knowledge distillation model MP-KD, where a teacher network trained on a source TKG can guide the training of a student network on target TKGs with an alignment module. Concretely, to deal with the scarcity issue, MP-KD generates pseudo alignments between TKGs based on the temporal information extracted by our representation module. To maximize the efficacy of knowledge transfer and control the noise caused by the temporal knowledge discrepancy, we enhance MP-KD with a temporal cross-lingual attention mechanism to dynamically estimate the alignment strength. The two procedures are mutually paced along with model training. Extensive experiments on twelve cross-lingual TKG transfer tasks in the EventKG benchmark demonstrate the effectiveness of the proposed MP-KD method.
• Abstract（参考訳）: 本稿では,低リソース言語における時間的知識グラフ(TKG)の推論を容易にするための言語間時間的知識グラフ推論問題について検討する。 TKGを横断する言語間蒸留能力は、特に低リソース言語において、非常に不完全なTKGに対して既存の推論手法が不満足な性能を示すことを考慮して、ますます重要になっている。 しかし、2つの面で大きな課題がある。 まず、知識伝達のブリッジとして機能する言語間アライメントは、2つのTKG間で十分な知識を伝達するには不十分である。 第二に、アライメントエンティティの時間的知識の相違、特にアライメントが信頼できない場合、知識蒸留過程を誤解させる可能性がある。 そこで本研究では,TKGで訓練された教師ネットワークが,TKGを対象とする教師ネットワークのトレーニングをアライメントモジュールでガイドできる知識蒸留モデルMP-KDを提案する。 具体的には,mp-kdは,表現モジュールによって抽出された時間情報に基づいて,tkg間の擬似アライメントを生成する。 知識伝達の有効性を最大化し, 時間的知識の相違による騒音を制御するため, 時間的言語間注目機構によりMP-KDを強化し, そのアライメント強度を動的に推定する。 2つの手順は、モデルトレーニングとともに相互にペースします。 EventKGベンチマークにおける12の言語間TKG転送タスクに関する大規模な実験により,提案手法の有効性が示された。

関連論文リスト

• Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning [87.10396098919013]
  大規模言語モデル (LLM) は、時間的推論において広範な知識と卓越した能力を示した。 本稿では,時間的知識グラフに基づく推論のためのLarge Language Models-Guided Dynamic Adaptation (LLM-DA)法を提案する。 LLM-DAは、歴史的データを解析し、時間的論理規則を抽出するLLMの機能を利用する。
  論文  参考訳（メタデータ） (2024-05-23T04:54:37Z)
• Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
  本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
  論文  参考訳（メタデータ） (2023-11-27T08:38:42Z)
• Dual Semantic Knowledge Composed Multimodal Dialog Systems [114.52730430047589]
  本稿では,MDS-S2という新しいマルチモーダルタスク指向対話システムを提案する。 コンテキスト関連属性と関係知識を知識ベースから取得する。 また、合成された応答表現から意味情報を抽出するために、潜在クエリ変数のセットを考案する。
  論文  参考訳（メタデータ） (2023-05-17T06:33:26Z)
• Similarity-weighted Construction of Contextualized Commonsense Knowledge Graphs for Knowledge-intense Argumentation Tasks [17.438104235331085]
  CCKG(Contextualized Commonsense Knowledge Graphs)を構築するための教師なしの新たな手法を提案する。 我々の研究は、KG三重項とテキスト引数のセマンティックな類似性を計算することによって、文脈に敏感な知識抽出に留まらない。 我々は,知識に敏感な議論品質評価タスクにおけるCCKGの有効性を実証し,強力なベースラインを達成し,GPT-3ベースのシステムと競合することを示す。
  論文  参考訳（メタデータ） (2023-05-15T09:52:36Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• EvoKG: Jointly Modeling Event Time and Network Structure for Reasoning over Temporal Knowledge Graphs [25.408246523764085]
  時間的知識グラフ(TKG)に対する推論は、インテリジェントなサービスを提供する多くのアプリケーションにとって不可欠である。 本稿では、TKGに対する効果的な推論、すなわちイベント時間と進化するネットワーク構造をモデル化するために対処すべき2つの主要な問題を統一する問題定式化を提案する。 提案手法は,TKGの非定常的構造と時間的ダイナミクスを解析し,両タスクを効果的にモデル化する。
  論文  参考訳（メタデータ） (2022-02-15T18:49:53Z)
• TIE: A Framework for Embedding-based Incremental Temporal Knowledge Graph Completion [37.76140466390048]
  時間的知識グラフ(TKG)の推論は、情報検索と意味検索にとって重要なタスクです。 近年のTKGコンプリート(TKGC)は,エンコーダデコーダフレームワークをタイムアウェアな符号化関数で拡張することによって実現されている。 本稿では,TKG表現学習,経験再現,時間正規化を組み合わせたTIE(Time-Aware Incremental Embedding)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-17T01:40:46Z)
• T-GAP: Learning to Walk across Time for Temporal Knowledge Graph Completion [13.209193437124881]
  時間的知識グラフ(TKG)は、静的知識グラフとは対照的に、本質的に現実世界の知識の過渡的な性質を反映している。 エンコーダとデコーダにおける時間情報とグラフ構造の両方を最大限に活用するTKG補完の新しいモデルであるT-GAPを提案する。 本実験は、T-GAPが最先端のベースラインに対する優れた性能を達成し、目に見えないタイムスタンプによるクエリに有能に一般化することを示す。
  論文  参考訳（メタデータ） (2020-12-19T04:45:32Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models [103.18329049830152]
  我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。 実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。 コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
  論文  参考訳（メタデータ） (2020-09-29T12:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。