論文の概要: Assessing Knowledge Editing in Language Models via Relation Perspective
- arxiv url: http://arxiv.org/abs/2311.09053v1
- Date: Wed, 15 Nov 2023 15:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 15:16:27.730217
- Title: Assessing Knowledge Editing in Language Models via Relation Perspective
- Title(参考訳): リレーショナルパースペクティブによる言語モデルにおける知識編集の評価
- Authors: Yifan Wei, Xiaoyan Yu, Huanhuan Ma, Fangyu Lei, Yixuan Weng, Ran Song,
Kang Liu
- Abstract要約: 本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。
我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。
本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
- 参考スコア(独自算出の注目度): 21.64869056276927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Editing (KE) for modifying factual knowledge in Large Language
Models (LLMs) has been receiving increasing attention. However, existing
knowledge editing methods are entity-centric, and it is unclear whether this
approach is suitable for a relation-centric perspective. To address this gap,
this paper constructs a new benchmark named RaKE, which focuses on Relation
based Knowledge Editing. In this paper, we establish a suite of innovative
metrics for evaluation and conduct comprehensive experiments involving various
knowledge editing baselines. We notice that existing knowledge editing methods
exhibit the potential difficulty in their ability to edit relations. Therefore,
we further explore the role of relations in factual triplets within the
transformer. Our research results confirm that knowledge related to relations
is not only stored in the FFN network but also in the attention layers. This
provides experimental support for future relation-based knowledge editing
methods.
- Abstract(参考訳): 大規模言語モデル(LLM)における事実知識の修正のための知識編集(KE)が注目されている。
しかし、既存の知識編集手法はエンティティ中心であり、このアプローチが関係中心の観点に適しているかどうかは不明である。
このギャップに対処するため,本稿では,関係ベースの知識編集に焦点を当てたrakeという新しいベンチマークを構築した。
本稿では,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを確立する。
既存の知識編集手法は、関係を編集する能力において潜在的な困難を示す。
そこで本研究では, 変圧器内の実物三重項における関係性の役割をさらに探求する。
本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
これは、将来の関係に基づく知識編集方法に対する実験的サポートを提供する。
関連論文リスト
- KEBench: A Benchmark on Knowledge Editing for Large Vision-Language
Models [52.11803779918731]
LVLM(Large Vision-Language Models)の編集は、さまざまなモダリティ(画像とテキスト)を統合すると同時に、一貫性とコンテキストに関連のある修正を保証する。
既存のベンチマークには、LVLMの知識編集を測定するための3つのメトリクス(信頼性、局所性、一般性)がある。
我々は、新しいベンチマークを構築するために異なるデータ収集メソッド、$textbfKEBench$を採用し、包括的な評価のために新しいメトリック(移植性)を拡張します。
論文 参考訳(メタデータ) (2024-03-12T06:16:33Z) - Updating Language Models with Unstructured Facts: Towards Practical
Knowledge Editing [87.35944788684958]
我々は新しいベンチマークUnstructured Knowledge Editing (UKE)を提案する。
UKEは、構造化されていないテキストを直接知識更新として使用する編集性能を評価し、構造化されていない事実と呼ぶ。
新たに構築されたデータセットに関する広範な実験を行い、UKEが最先端の知識編集手法に重大な課題をもたらすことを示した。
論文 参考訳(メタデータ) (2024-02-29T07:08:34Z) - Stable Knowledge Editing in Large Language Models [68.98582618305679]
本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。
人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。
StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
論文 参考訳(メタデータ) (2024-02-20T14:36:23Z) - EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
論文 参考訳(メタデータ) (2024-02-17T16:34:50Z) - Propagation and Pitfalls: Reasoning-based Assessment of Knowledge
Editing through Counterfactual Tasks [36.292901021210575]
ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。
我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。
全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
論文 参考訳(メタデータ) (2024-01-31T04:12:59Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Evaluating Dependencies in Fact Editing for Language Models: Specificity
and Implication Awareness [26.589633375359647]
学習した事実の編集が、知識の依存として知られる内部的な論理的制約を尊重することを確実にすることを目的としている。
LLMの編集作業は、ある事実の編集が関係のないものを破壊することなく、その語彙のバリエーションに適用されるべきである場合、依存関係の問題に部分的に対処している。
本稿では,関連する質問応答データセットであるDepEditを用いた評価プロトコルを提案し,編集プロセスの総合的な評価を行う。
論文 参考訳(メタデータ) (2023-12-04T12:45:30Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z) - Jointly Learning Knowledge Embedding and Neighborhood Consensus with
Relational Knowledge Distillation for Entity Alignment [9.701081498310165]
エンティティアライメントは、異なる知識グラフから異種知識を統合することを目的としています。
近年の研究では、知識グラフを初めて学習し、エンティティアライメントを実行することで、埋め込みに基づく手法が採用されている。
本稿では,知識蒸留機能を備えたグラフ畳み込みネットワーク(GCN)モデルを提案する。
論文 参考訳(メタデータ) (2022-01-25T02:47:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。