論文の概要: SWEA: Changing Factual Knowledge in Large Language Models via Subject
Word Embedding Altering
- arxiv url: http://arxiv.org/abs/2401.17809v2
- Date: Thu, 15 Feb 2024 15:43:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 18:40:07.526123
- Title: SWEA: Changing Factual Knowledge in Large Language Models via Subject
Word Embedding Altering
- Title（参考訳）: SWEA:主語埋め込みによる大規模言語モデルにおけるファクチュアル知識の変化
- Authors: Xiaopeng Li, Shasha Li, Shezheng Song, Huijun Liu, Bin Ji, Xi Wang,
Jun Ma, Jie Yu, Xiaodong Liu, Jing Wang and Weimin Zhang
- Abstract要約: 現在のモデル編集方法は、主にモデルのパラメータを変更したり、既存のモデルに追加のモジュールを追加したりする。
本稿では,文字レベルのキー値マッチングによって融合した埋め込みを見つけるための拡張可能なサブジェクトワード埋め込み変換フレームワークを提案する。
SWEA$oplus$OSのCOUNTERFACTおよびzsREデータセット上でのSOTA(State-of-the-art)性能を実証した。
- 参考スコア（独自算出の注目度）: 17.71549000990682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model editing has recently gained widespread attention. Current model editing
methods primarily involve modifying model parameters or adding additional
modules to the existing model. However, the former causes irreversible damage
to Large Language Models (LLMs), while the latter incurs additional inference
overhead and fuzzy vector matching is not always reliable. To address these
issues, we propose an expandable Subject Word Embedding Altering (SWEA)
framework, which finds the fused embeddings through character-level key-value
matching and adds them to the subject word embeddings in Transformer input. To
get these fused embeddings, we propose optimizing then suppressing fusion
method, which first optimizes learnable embedding vectors for the editing
target and then suppresses the Knowledge Embedding Dimensions (KEDs) to obtain
final fused embeddings. We thus propose SWEA$\oplus$OS method for editing
factual knowledge in LLMs. We demonstrate the overall state-of-the-art (SOTA)
performance of SWEA$\oplus$OS on the COUNTERFACT and zsRE datasets. To further
validate the reasoning ability of SWEA$\oplus$OS in editing knowledge, we
evaluate it on the more complex RippleEdits benchmark. The results demonstrate
that SWEA$\oplus$OS possesses SOTA reasoning ability.
- Abstract（参考訳）: モデル編集は近年広く注目を集めている。
現在のモデル編集方法は、主にモデルパラメータの変更や既存のモデルに追加モジュールの追加を含む。
しかし、前者は大きな言語モデル(LLM)に不可逆的なダメージを与えるが、後者は追加の推論オーバーヘッドを発生させ、ファジィベクトルマッチングは必ずしも信頼できない。
これらの課題に対処するために,文字レベルのキー値マッチングによる融合埋め込みを発見し,Transformer 入力の主語埋め込みに追加する,拡張可能な主語埋め込み変換(SWEA)フレームワークを提案する。
これらの融合埋め込みを実現するために,まず学習可能な埋め込みベクトルを編集対象に最適化し,次に知識埋め込み次元(KED)を抑圧して最終的な融合埋め込みを得る融合手法の最適化と抑制を提案する。
そこで我々は,LSMにおける事実知識を編集するためのSWEA$\oplus$OS法を提案する。
SWEA$\oplus$OSのCOUNTERFACTおよびzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
SWEA$\oplus$OSの編集知識の推論能力をさらに検証するため,より複雑なRippleEditsベンチマークで評価を行った。
その結果,SWEA$\oplus$OSはSOTA推論能力を有することが示された。
関連論文リスト
- K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。
我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
論文 参考訳（メタデータ） (2025-02-15T01:35:13Z) - AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。
長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。
UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
論文 参考訳（メタデータ） (2025-02-08T16:18:37Z) - ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。
従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。
本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
論文 参考訳（メタデータ） (2024-08-19T02:27:00Z) - Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。
生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。
本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
論文 参考訳（メタデータ） (2024-05-04T22:02:24Z) - Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳（メタデータ） (2024-03-26T06:57:23Z) - VLKEB: A Large Vision-Language Model Knowledge Editing Benchmark [53.091690659399234]
大規模言語モデル(LLM)の知識編集は注目されている。
3つのメトリクス(信頼性、局所性、一般性)からなる既存のLVLM編集ベンチマークは、合成された評価画像の品質が不足している。
我々は、新しいLarge $textbfV$ision-$textbfL$anguage Modelを構築するために、より信頼性の高いデータ収集手法を使用します。
論文 参考訳（メタデータ） (2024-03-12T06:16:33Z) - Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳（メタデータ） (2024-03-10T16:57:10Z) - Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。
既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。
知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
論文 参考訳（メタデータ） (2024-02-21T07:52:26Z) - Massive Editing for Large Language Models via Meta Learning [27.972194696587813]
大規模言語モデル(LLM)は、事前学習したコーパスから学習知識を可能にするが、取得した知識は時間とともに根本的に誤りまたは時代遅れになる可能性がある。
パラメータシフト集約を最小二乗問題として定式化するMALMEN(Massive Language Model Editing Network)を提案する。
提案手法は, BERTベース, GPT-2, T5-XL (2.8B), GPT-J (6B) などの異なるアーキテクチャを持つLM上で, 数千件の事実を編集して評価する。
論文 参考訳（メタデータ） (2023-11-08T13:03:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。