論文の概要: Editing Language Model-based Knowledge Graph Embeddings

• arxiv url: http://arxiv.org/abs/2301.10405v5
• Date: Wed, 16 Aug 2023 10:57:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 17:31:21.112558
• Title: Editing Language Model-based Knowledge Graph Embeddings
• Title（参考訳）: 言語モデルに基づく知識グラフ埋め込みの編集
• Authors: Siyuan Cheng, Ningyu Zhang, Bozhong Tian, Xi Chen, Qingbing Liu, Huajun Chen
• Abstract要約: 本稿では,言語モデルに基づく知識グラフの埋め込みを編集する新しいタスクを提案する。 このタスクは、他の側面のパフォーマンスを損なうことなく、高速でデータ効率のよいKG埋め込みの更新を容易にするように設計されている。 我々は、4つの新しいデータセットを構築し、提案した課題に対処する以前のモデルの限られた能力を示すいくつかの知識編集ベースラインを評価する。
• 参考スコア（独自算出の注目度）: 40.12918266917595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently decades have witnessed the empirical success of framing Knowledge Graph (KG) embeddings via language models. However, language model-based KG embeddings are usually deployed as static artifacts, making them difficult to modify post-deployment without re-training after deployment. To address this issue, we propose a new task of editing language model-based KG embeddings in this paper. This task is designed to facilitate rapid, data-efficient updates to KG embeddings without compromising the performance of other aspects. We build four new datasets: E-FB15k237, A-FB15k237, E-WN18RR, and A-WN18RR, and evaluate several knowledge editing baselines demonstrating the limited ability of previous models to handle the proposed challenging task. We further propose a simple yet strong baseline dubbed KGEditor, which utilizes additional parametric layers of the hyper network to edit/add facts. Our comprehensive experimental results reveal that KGEditor excels in updating specific facts without impacting the overall performance, even when faced with limited training resources. Code and datasets are available in https://github.com/zjunlp/PromptKG/tree/main/deltaKG.
• Abstract（参考訳）: 近年では言語モデルによる知識グラフ(kg)埋め込みが実証的に成功している。 しかしながら、言語モデルに基づくkg埋め込みは通常、静的アーティファクトとしてデプロイされるため、デプロイ後に再トレーニングすることなく、デプロイ後の修正が困難になる。 そこで本稿では,言語モデルに基づくKG埋め込みを編集する新しいタスクを提案する。 このタスクは、他の側面のパフォーマンスを損なうことなく、高速でデータ効率のよいKG埋め込みの更新を容易にするように設計されている。 e-fb15k237,a-fb15k237,e-wn18rr,a-wn18rrの4つの新しいデータセットを構築し,提案課題に対処するための既存モデルの限られた能力を示す,いくつかの知識編集ベースラインを評価した。 さらに,ハイパーネットワークのパラメトリック層を追加して事実の編集・追加を行う,シンプルかつ強力なベースラインであるkgeditorを提案する。 総合的な実験結果から,KGEditorは,限られたトレーニングリソースに直面した場合でも,全体のパフォーマンスに影響を与えることなく,特定の事実の更新に優れることがわかった。 コードとデータセットはhttps://github.com/zjunlp/PromptKG/tree/main/deltaKGで入手できる。

関連論文リスト

• GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
  我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。 具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。 また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
  論文  参考訳（メタデータ） (2025-02-17T06:02:59Z)
• K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
  知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。 我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
  論文  参考訳（メタデータ） (2025-02-15T01:35:13Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction [2.6749568255705656]
  大規模言語モデル(LLM)における開放的調査のための外挿は2つの重要な問題に遭遇する。 既存の作業は、知識グラフからの情報により、より小さな言語モデルの入力を増大させることによって、この問題に対処しようとするものである。 我々は,モデルが複数の応答で外挿を行うことを可能にするために,新たなタスク,極端なマルチラベルKGリンク予測タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-21T10:10:56Z)
• Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• FedMKGC: Privacy-Preserving Federated Multilingual Knowledge Graph Completion [21.4302940596294]
  知識グラフ補完(KGC)は、知識グラフ(KG)の欠落事実を予測することを目的とする。 KG間で生データを転送することに依存する従来の方法は、プライバシー上の懸念を提起している。 我々は、生データ交換やエンティティアライメントを必要とせずに、複数のKGから暗黙的に知識を集約する新しい連合学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-17T08:09:27Z)
• Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
  そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。 タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。 近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
  論文  参考訳（メタデータ） (2022-12-04T23:59:41Z)
• GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation [3.593955557310285]
  KG-to-text生成の最近の改善は、微調整タスクの性能を高めるために設計された補助的な事前訓練タスクによるものである。 ここでは、既存の事前学習言語モデルにグラフ認識要素を融合させることで、最先端のモデルより優れ、追加の事前学習タスクによって課されるギャップを埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-04-13T23:53:37Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。