論文の概要: Unlocking Efficient, Scalable, and Continual Knowledge Editing with Basis-Level Representation Fine-Tuning

• arxiv url: http://arxiv.org/abs/2503.00306v1
• Date: Sat, 01 Mar 2025 02:34:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:35.714553
• Title: Unlocking Efficient, Scalable, and Continual Knowledge Editing with Basis-Level Representation Fine-Tuning
• Title（参考訳）: Basis-Level Representation Fine-Tuningによる効率的かつスケーラブルで連続的な知識編集
• Authors: Tianci Liu, Ruirui Li, Yunzhe Qi, Hui Liu, Xianfeng Tang, Tianqi Zheng, Qingyu Yin, Monica Xiao Cheng, Jun Huan, Haoyu Wang, Jing Gao,
• Abstract要約: 大規模言語モデル (LLM) は様々な自然言語処理において顕著な性能を発揮している。 静的コーパスでトレーニングされ、その知識は急速に変化する世界で急速に時代遅れになる。 以前の取り組みでは、LLMの特定の層に少量のパラメータを更新しようと試みていた。 本研究では,様々な種類の知識を適応的に管理し,より優れた編集・局所性トレードオフを実現するため,BaFTを提案する。
• 参考スコア（独自算出の注目度）: 29.20378857521518
• License:
• Abstract: Large language models (LLMs) have achieved remarkable performance on various natural language tasks. However, they are trained on static corpora and their knowledge can become outdated quickly in the fast-changing world. This motivates the development of knowledge editing methods designed to update certain knowledge in LLMs without changing unrelated others. To make selective edits, previous efforts often sought to update a small amount of parameters in some specific layer(s) of a LLM. Nonetheless, in challenging scenarios, they still fall short in making successful edits while preserving knowledge irrelevant to the updates simultaneously, resulting in a notable editing-locality trade-off. In this work, we question if the trade-offs are caused by the fact that parameter-based updates have a global effect, i.e., edited parameters affect all inputs indiscriminately. In light of this, we explore the feasibility of representation fine-tuning, which applied some linear update to a few representations in a learned subspace, for knowledge editing. While being effective to enhance an LLM's general ability as demonstrated in the previous work, we theoretically show that this linear update imposes a tension in editing-locality trade-off. Subsequently, BaFT is proposed to break the linearity. BaFT computes a weight for each basis that spans a dimension of the subspace based on the input representation. This input-dependent weighting mechanism allows BaFT to manage different types of knowledge in an adaptive way, thereby achieving a better editing-locality trade-off. Experiments on three LLMs with five editing benchmarks in diverse scenarios show the superiority of our method.
• Abstract（参考訳）: 大規模言語モデル (LLM) は様々な自然言語処理において顕著な性能を発揮している。 しかし、それらは静的コーパスで訓練されており、その知識は急速に変化する世界で急速に時代遅れになる可能性がある。 これにより,LLMにおける知識の更新を意図した知識編集手法が開発される。 選択的な編集を行うために、以前の取り組みは LLM の特定の層に少量のパラメータを更新しようとした。 それでも、困難なシナリオでは、更新に無関係な知識を同時に保持しながら、編集を成功させるには依然として不足しているため、編集-ローカル性のトレードオフが顕著である。 本研究では、パラメータベースの更新がグローバルな影響、すなわち、編集されたパラメータが全ての入力に無差別に影響を及ぼすという事実から、トレードオフが生じるかどうかを問う。 そこで我々は,学習したサブ空間内のいくつかの表現に線形更新を適用した表現微調整の実現可能性について検討した。 従来の研究で示されていたLCMの汎用能力向上に有効であるが, この線形更新は, 編集・局所性トレードオフの緊張を強いることが理論的に証明されている。 その後、線形性を壊すためにBaFTを提案する。 BaFTは入力表現に基づいて部分空間の次元にまたがる基底ごとに重みを計算する。 この入力依存重み付け機構により、BaFTは様々な種類の知識を適応的に管理し、より優れた編集-局所性トレードオフを実現することができる。 様々なシナリオにおける5つの編集ベンチマークによる3つのLLM実験は,本手法の優位性を示している。

関連論文リスト

• Reinforced Lifelong Editing for Language Models [12.101856766731574]
  大規模言語モデル(LLM)は、事前学習したコーパスから情報を取得するが、その記憶された知識は、時間とともに不正確になるか、時代遅れになる可能性がある。 モデル編集は、リトレーニングなしでモデルパラメータを変更することでこの課題に対処する。 本稿では,RLに基づく編集手法であるRLEditを提案する。
  論文  参考訳（メタデータ） (2025-02-09T03:37:06Z)
• AnyEdit: Edit Any Knowledge Encoded in Language Models [69.30638272162267]
  大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。 長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。 UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
  論文  参考訳（メタデータ） (2025-02-08T16:18:37Z)
• Mitigating Heterogeneous Token Overfitting in LLM Knowledge Editing [21.143790515287392]
  大規模言語モデル (LLM) は様々な自然言語処理において顕著な性能を発揮している。 静的コーパスでトレーニングされ、その知識は急速に変化する世界で急速に時代遅れになる。 これは知識編集(KE)の発展を動機付け、無関係な他の知識を変更したり、事前訓練された能力を損なうことなく、LLMの特定の知識を更新する。
  論文  参考訳（メタデータ） (2025-02-02T00:10:51Z)
• Time Sensitive Knowledge Editing through Efficient Finetuning [35.79991957163508]
  大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力を示し、多くのドメインに変革をもたらす。 LLMの知識を最新に保つことは、事前トレーニングが完了するまで、依然として課題である。 既存の位置と編集の知識編集(KE)手法には2つの制限がある。
  論文  参考訳（メタデータ） (2024-06-06T20:41:36Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
  近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。 本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。 SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-01-31T13:08:45Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。