論文の概要: CoME: An Unlearning-based Approach to Conflict-free Model Editing
- arxiv url: http://arxiv.org/abs/2502.15826v1
- Date: Thu, 20 Feb 2025 04:55:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 22:36:55.807181
- Title: CoME: An Unlearning-based Approach to Conflict-free Model Editing
- Title（参考訳）: CoME: 衝突のないモデル編集への非学習ベースのアプローチ
- Authors: Dahyun Jung, Jaehyung Seo, Jaewook Lee, Chanjun Park, Heuiseok Lim,
- Abstract要約: 大規模言語モデル(LLM)は、古い情報や事前訓練の誤った情報を保持することが多く、信頼性を損なう。
我々は,古い知識を選択的に除去することで,LLMにおける知識更新の精度を高める新しいフレームワークである,衝突のないモデル編集(CoME)を提案する。
- 参考スコア（独自算出の注目度）: 8.215201299292033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) often retain outdated or incorrect information from pre-training, which undermines their reliability. While model editing methods have been developed to address such errors without full re-training, they frequently suffer from knowledge conflicts, where outdated information interferes with new knowledge. In this work, we propose Conflict-free Model Editing (CoME), a novel framework that enhances the accuracy of knowledge updates in LLMs by selectively removing outdated knowledge. CoME leverages unlearning to mitigate knowledge interference, allowing new information to be integrated without compromising relevant linguistic features. Through experiments on GPT-J and LLaMA-3 using Counterfact and ZsRE datasets, we demonstrate that CoME improves both editing accuracy and model reliability when applied to existing editing methods. Our results highlight that the targeted removal of outdated knowledge is crucial for enhancing model editing effectiveness and maintaining the model's generative performance.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、古い情報や事前学習の誤った情報を保持することが多く、信頼性を損なう。
モデル編集法は, 完全再学習を伴わずにこのような誤りに対処する手法が開発されているが, 古い情報が新しい知識に干渉する知識衝突に悩まされることがしばしばある。
本研究では,古い知識を選択的に取り除き,LLMにおける知識更新の精度を高める新しいフレームワークである,矛盾のないモデル編集(CoME)を提案する。
CoMEは未学習を利用して知識干渉を緩和し、関連する言語的特徴を損なうことなく新しい情報を統合できるようにする。
Counterfact と ZsRE のデータセットを用いた GPT-J と LLaMA-3 の実験を通じて,既存の編集手法に適用した場合,CoME は編集精度とモデルの信頼性の両方を向上することを示した。
この結果から, モデル編集の有効性の向上と, モデル生成性能の維持に, 古くなった知識の除去が不可欠であることが示唆された。
関連論文リスト
- Retention analysis of edited knowledge after fine-tuning [5.440397659472036]
大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。
モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。
しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
論文 参考訳（メタデータ） (2025-07-14T15:51:19Z) - Model Merging for Knowledge Editing [53.799891745131724]
大規模言語モデル(LLM)は、世界が進化するにつれて正確で現在の知識を維持するために継続的な更新を必要とする。
既存の知識編集アプローチは知識更新のための様々なソリューションを提供するが、しばしば連続的な編集シナリオに苦労する。
本稿では,頑健な教師付き微調整(R-SFT)とモデルマージを組み合わせた2段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-14T07:42:39Z) - MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [82.34547399693966]
寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。
残メモリを介して知識を注入する新しいスケーラブルなフレームワークであるMEMOIRを提案する。
MeMOIRは各編集をメモリパラメータの別のサブセットに限定し、編集間の干渉を最小限にする。
論文 参考訳（メタデータ） (2025-06-09T16:16:42Z) - Decoupling Reasoning and Knowledge Injection for In-Context Knowledge Editing [12.5122702720856]
インコンテキスト編集(ICE)は、入力コンテキストに直接新しい知識を注入することで、軽量なソリューションを提供する。
既存のICEアプローチは、新しく注入された知識をモデル本来の推論プロセスから明確に分離するものではない。
マスク付き推論経路を生成することで知識編集から推論を分離する新しいICEフレームワークであるDecKERを提案する。
論文 参考訳（メタデータ） (2025-05-31T12:51:12Z) - K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。
我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
論文 参考訳（メタデータ） (2025-02-15T01:35:13Z) - LLMs as Repositories of Factual Knowledge: Limitations and Solutions [1.7764955091415962]
本研究では,事実知識のリポジトリとしてのLarge Language Models(LLMs)の妥当性について検討する。
時間に敏感な事実質問に応答する際の信頼性を評価する。
本稿では,モデルの性能向上を図るため,ENAF(ENtity-Aware Fine-tuning)を提案する。
論文 参考訳（メタデータ） (2025-01-22T10:16:53Z) - Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
大規模な言語モデルは定期的に更新する必要がある。
モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。
文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
論文 参考訳（メタデータ） (2024-10-03T12:28:13Z) - ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。
従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。
本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
論文 参考訳（メタデータ） (2024-08-19T02:27:00Z) - In-Context Editing: Learning Knowledge from Self-Induced Distributions [29.10148782152867]
本研究では,1ホットターゲットではなくコンテキスト分布を最適化するために,Consistent In-Context Editing (ICE)を導入する。
ICEは、勾配に基づくチューニング手法の堅牢性と有効性を向上し、モデルの整合性を維持するのを防ぐ。
我々は、知識編集の4つの重要な側面、すなわち正確性、局所性、一般化、言語的品質を分析し、その利点を実証する。
論文 参考訳（メタデータ） (2024-06-17T04:00:04Z) - Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳（メタデータ） (2024-03-26T06:57:23Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - History Matters: Temporal Knowledge Editing in Large Language Model [42.74144542674756]
本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。
既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。
このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-09T07:51:56Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。