論文の概要: SWEA: Changing Factual Knowledge in Large Language Models via Subject
Word Embedding Altering
- arxiv url: http://arxiv.org/abs/2401.17809v1
- Date: Wed, 31 Jan 2024 13:08:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 14:40:52.604408
- Title: SWEA: Changing Factual Knowledge in Large Language Models via Subject
Word Embedding Altering
- Title(参考訳): SWEA:主語埋め込みによる大規模言語モデルにおけるファクチュアル知識の変化
- Authors: Xiaopeng Li, Shasha Li, Bin Ji, Shezheng Song, Xi Wang, Jun Ma, Jie
Yu, Xiaodong Liu, Jing Wang and Weimin Zhang
- Abstract要約: 対象の表現を修飾するSWEAフレームワークを提案する。
SWEAはモデル外部の正確なキーマッチングを使用し、信頼できる主語埋め込み変更を行う。
SWEAOSの最先端性能を,COUNTERFACTおよびzsREデータセット上で実証する。
- 参考スコア(独自算出の注目度): 18.05203096276472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model editing has recently gained widespread attention. Current model editing
methods primarily involve modifying model parameters or adding additional
modules to the existing model. However, the former causes irreversible damage
to LLMs, while the latter incurs additional inference overhead and fuzzy vector
matching is not always reliable. To address these issues, we propose an
expandable Subject Word Embedding Altering (SWEA) framework, which modifies the
representation of subjects and achieve the goal of editing knowledge during the
inference stage. SWEA uses precise key matching outside the model and performs
reliable subject word embedding altering, thus protecting the original weights
of the model without increasing inference overhead. We then propose optimizing
then suppressing fusion method, which first optimizes the embedding vector for
the editing target and then suppresses the Knowledge Embedding Dimension (KED)
to obtain the final fused embedding. We thus propose SWEAOS method for editing
factual knowledge in LLMs. We demonstrate the state-of-the-art performance of
SWEAOS on the COUNTERFACT and zsRE datasets. To further validate the reasoning
ability of SWEAOS in editing knowledge, we evaluate it on the more complex
RIPPLEEDITS benchmark. The results on two subdatasets demonstrate that our
SWEAOS possesses state-of-the-art reasoning ability.
- Abstract(参考訳): モデル編集は近年広く注目を集めている。
現在のモデル編集方法は、主にモデルパラメータの変更や既存のモデルに追加モジュールの追加を含む。
しかし、前者はLSMに不可逆的なダメージを与えるが、後者は追加の推論オーバーヘッドとファジィベクトルマッチングが常に信頼できるとは限らない。
これらの課題に対処するために,対象の表現を改良し,推論段階における知識の編集を目標とする,拡張可能な主題単語埋め込み変換(SWEA)フレームワークを提案する。
SWEAはモデル外部の正確なキーマッチングを使用し、信頼性の高い主語埋め込み変更を行うため、推論オーバーヘッドを増大させることなく、モデルのオリジナルの重みを保護する。
次に,まず編集対象に対して埋め込みベクトルを最適化し,次いで知識埋め込み次元(ked)を抑圧し,最終的な融合埋め込みを得る。
そこで我々は,LLMにおける事実知識を編集するためのSWEAOS法を提案する。
SWEAOSの最先端性能を,COUNTERFACTおよびzsREデータセット上で実証する。
編集知識におけるSWEAOSの推論能力を更に検証するため,より複雑なRIPPLEEDITSベンチマークを用いて評価を行った。
2つのサブデータセットの結果は、SWEAOSが最先端の推論能力を持っていることを示している。
関連論文リスト
- Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳(メタデータ) (2024-03-26T06:57:23Z) - Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。
既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。
知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
論文 参考訳(メタデータ) (2024-02-21T07:52:26Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [104.70586870701922]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Neuron-level LLM Patching for Code Generation [32.178931149612644]
大規模言語モデル(LLM)は、特にコード生成タスクにおいて、ソフトウェア工学において広く採用されている。
コーディングタスクにおけるLLMにパッチを当てるために,新しい効率的なモデル編集手法であるtextscMENTを提案する。
論文 参考訳(メタデータ) (2023-12-08T20:28:08Z) - Massive Editing for Large Language Models via Meta Learning [27.972194696587813]
大規模言語モデル(LLM)は、事前学習したコーパスから学習知識を可能にするが、取得した知識は時間とともに根本的に誤りまたは時代遅れになる可能性がある。
パラメータシフト集約を最小二乗問題として定式化するMALMEN(Massive Language Model Editing Network)を提案する。
提案手法は, BERTベース, GPT-2, T5-XL (2.8B), GPT-J (6B) などの異なるアーキテクチャを持つLM上で, 数千件の事実を編集して評価する。
論文 参考訳(メタデータ) (2023-11-08T13:03:06Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z) - Editing Factual Knowledge in Language Models [51.947280241185]
本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。
knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。
2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
論文 参考訳(メタデータ) (2021-04-16T15:24:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。