論文の概要: Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning
- arxiv url: http://arxiv.org/abs/2404.00051v1
- Date: Mon, 25 Mar 2024 17:25:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-07 23:07:46.859859
- Title: Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning
- Title（参考訳）: Deja vu: 時間的知識グラフ推論のためのプレフィックスチューニングによるコントラスト的歴史モデリング
- Authors: Miao Peng, Ben Liu, Wenjie Xu, Zihao Jiang, Jiahui Zhu, Min Peng,
- Abstract要約: ChapTERは、テンポラル推論のためのプレフィックスチューニングを備えたコントラスト歴史モデリングフレームワークである。
我々は4つのトランスダクティブと3つの数ショットインダクティブTKGRベンチマークでChapTERを評価した。
- 参考スコア（独自算出の注目度）: 16.408149489677154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal Knowledge Graph Reasoning (TKGR) is the task of inferring missing facts for incomplete TKGs in complex scenarios (e.g., transductive and inductive settings), which has been gaining increasing attention. Recently, to mitigate dependence on structured connections in TKGs, text-based methods have been developed to utilize rich linguistic information from entity descriptions. However, suffering from the enormous parameters and inflexibility of pre-trained language models, existing text-based methods struggle to balance the textual knowledge and temporal information with computationally expensive purpose-built training strategies. To tap the potential of text-based models for TKGR in various complex scenarios, we propose ChapTER, a Contrastive historical modeling framework with prefix-tuning for TEmporal Reasoning. ChapTER feeds history-contextualized text into the pseudo-Siamese encoders to strike a textual-temporal balance via contrastive estimation between queries and candidates. By introducing virtual time prefix tokens, it applies a prefix-based tuning method to facilitate the frozen PLM capable for TKGR tasks under different settings. We evaluate ChapTER on four transductive and three few-shot inductive TKGR benchmarks, and experimental results demonstrate that ChapTER achieves superior performance compared to competitive baselines with only 0.17% tuned parameters. We conduct thorough analysis to verify the effectiveness, flexibility and efficiency of ChapTER.
- Abstract（参考訳）: 時間的知識グラフ推論(TKGR)は、複雑なシナリオ(例えば、トランスダクティブやインダクティブな設定)において、不完全なTKGに対して、欠落した事実を推測するタスクである。
近年,TKGの構造的接続への依存を軽減するために,エンティティ記述から豊富な言語情報を利用するテキストベースの手法が開発されている。
しかし、事前訓練された言語モデルの膨大なパラメータと柔軟性に悩まされ、既存のテキストベースの手法は、テキスト知識と時間情報のバランスと計算コストの高い目的構築トレーニング戦略のバランスをとるのに苦労する。
本稿では,TKGR のテキストベースモデルの可能性を活用するために,テポラル推論のためのプレフィックスチューニングを備えたコントラスト的歴史モデリングフレームワーク ChapTER を提案する。
ChapTERはヒストリコンテクスト化されたテキストを擬似シリアスエンコーダに入力し、クエリと候補間のコントラッシブな推定を通じてテキスト時間バランスを打つ。
仮想時間プレフィックストークンを導入することで、異なる設定下でTKGRタスクを実行できる冷凍PLMを容易にするためにプレフィックスベースのチューニング手法を適用する。
また,ChapTERを4つのトランスダクティブおよび3つの数ショットインダクティブTKGRベンチマークで評価したところ,ChapTERは0.17%の調整パラメータを持つ競合ベースラインに比べて優れた性能を示した。
本稿では,ChapTERの有効性,柔軟性,効率性を検証するため,徹底的な解析を行う。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Retrieval-Augmented Generation Meets Data-Driven Tabula Rasa Approach for Temporal Knowledge Graph Forecasting [0.0]
sLA-tKGFは、時間的知識グラフ(tKG)予測のための小規模言語アシスタントである。
本フレームワークは,tKGとWeb検索結果の履歴データを用いて,知識注入型プロンプトを構築する。
幻覚を減らし、時間とともに変化する傾向を理解することで分布シフトの課題を緩和する。
論文 参考訳（メタデータ） (2024-08-18T11:52:24Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳（メタデータ） (2024-05-17T07:43:25Z) - Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。
我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。
また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
論文 参考訳（メタデータ） (2024-02-22T18:55:17Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Unifying Structure and Language Semantic for Efficient Contrastive
Knowledge Graph Completion with Structured Entity Anchors [0.3913403111891026]
知識グラフ補完(KGC)の目標は、すでに知られている訓練された事実を用いて、KGの欠落したリンクを予測することである。
本稿では,帰納的推論の力を失うことなく,構造情報と言語意味を効果的に統一する手法を提案する。
論文 参考訳（メタデータ） (2023-11-07T11:17:55Z) - Leveraging Pre-trained Language Models for Time Interval Prediction in
Text-Enhanced Temporal Knowledge Graphs [1.4916971861796382]
本稿では,テキスト強調時間知識グラフ補完のための事前学習言語モデル(PLM)のパワーを利用するTEMTという新しいフレームワークを提案する。
従来のアプローチとは異なり、TEMTは異なる時間ポイント間の依存関係を効果的にキャプチャし、目に見えないエンティティの予測を可能にする。
論文 参考訳（メタデータ） (2023-09-28T11:43:49Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳（メタデータ） (2023-05-31T16:47:20Z) - Incorporating Structured Sentences with Time-enhanced BERT for
Fully-inductive Temporal Relation Prediction [13.070974291417318]
不完全な時間的知識(TKG)に時間的関係予測を組み込むことは、一般的な時間的知識グラフ補完(TKGC)問題である。
従来の埋め込みベースのTKGCモデルは構造化接続に依存しており、固定されたエンティティのみを扱うことができる。
本研究では、トレーニングとテストセットのエンティティが完全に不整合である完全帰納的設定をTKGに拡張する。
我々のモデルはエンティティ履歴を取得し、構造化文を符号化することで意味空間における規則を暗黙的に学習することができる。
論文 参考訳（メタデータ） (2023-04-10T17:22:15Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-09-20T18:40:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。