論文の概要: CoME: An Unlearning-based Approach to Conflict-free Model Editing

• arxiv url: http://arxiv.org/abs/2502.15826v1
• Date: Thu, 20 Feb 2025 04:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 22:36:55.807181
• Title: CoME: An Unlearning-based Approach to Conflict-free Model Editing
• Title（参考訳）: CoME: 衝突のないモデル編集への非学習ベースのアプローチ
• Authors: Dahyun Jung, Jaehyung Seo, Jaewook Lee, Chanjun Park, Heuiseok Lim,
• Abstract要約: 大規模言語モデル(LLM)は、古い情報や事前訓練の誤った情報を保持することが多く、信頼性を損なう。 我々は,古い知識を選択的に除去することで,LLMにおける知識更新の精度を高める新しいフレームワークである,衝突のないモデル編集(CoME)を提案する。
• 参考スコア（独自算出の注目度）: 8.215201299292033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often retain outdated or incorrect information from pre-training, which undermines their reliability. While model editing methods have been developed to address such errors without full re-training, they frequently suffer from knowledge conflicts, where outdated information interferes with new knowledge. In this work, we propose Conflict-free Model Editing (CoME), a novel framework that enhances the accuracy of knowledge updates in LLMs by selectively removing outdated knowledge. CoME leverages unlearning to mitigate knowledge interference, allowing new information to be integrated without compromising relevant linguistic features. Through experiments on GPT-J and LLaMA-3 using Counterfact and ZsRE datasets, we demonstrate that CoME improves both editing accuracy and model reliability when applied to existing editing methods. Our results highlight that the targeted removal of outdated knowledge is crucial for enhancing model editing effectiveness and maintaining the model's generative performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、古い情報や事前学習の誤った情報を保持することが多く、信頼性を損なう。 モデル編集法は, 完全再学習を伴わずにこのような誤りに対処する手法が開発されているが, 古い情報が新しい知識に干渉する知識衝突に悩まされることがしばしばある。 本研究では,古い知識を選択的に取り除き,LLMにおける知識更新の精度を高める新しいフレームワークである,矛盾のないモデル編集(CoME)を提案する。 CoMEは未学習を利用して知識干渉を緩和し、関連する言語的特徴を損なうことなく新しい情報を統合できるようにする。 Counterfact と ZsRE のデータセットを用いた GPT-J と LLaMA-3 の実験を通じて,既存の編集手法に適用した場合,CoME は編集精度とモデルの信頼性の両方を向上することを示した。 この結果から, モデル編集の有効性の向上と, モデル生成性能の維持に, 古くなった知識の除去が不可欠であることが示唆された。

関連論文リスト

• K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
  知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。 我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
  論文  参考訳（メタデータ） (2025-02-15T01:35:13Z)
• LLMs as Repositories of Factual Knowledge: Limitations and Solutions [1.7764955091415962]
  本研究では,事実知識のリポジトリとしてのLarge Language Models(LLMs)の妥当性について検討する。 時間に敏感な事実質問に応答する際の信頼性を評価する。 本稿では,モデルの性能向上を図るため,ENAF(ENtity-Aware Fine-tuning)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T10:16:53Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• In-Context Editing: Learning Knowledge from Self-Induced Distributions [29.10148782152867]
  本研究では,1ホットターゲットではなくコンテキスト分布を最適化するために,Consistent In-Context Editing (ICE)を導入する。 ICEは、勾配に基づくチューニング手法の堅牢性と有効性を向上し、モデルの整合性を維持するのを防ぐ。 我々は、知識編集の4つの重要な側面、すなわち正確性、局所性、一般化、言語的品質を分析し、その利点を実証する。
  論文  参考訳（メタデータ） (2024-06-17T04:00:04Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• History Matters: Temporal Knowledge Editing in Large Language Model [42.74144542674756]
  本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。 既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。 このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-09T07:51:56Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。