論文の概要: Towards Scalable Lifelong Knowledge Editing with Selective Knowledge Suppression
- arxiv url: http://arxiv.org/abs/2604.19089v1
- Date: Tue, 21 Apr 2026 05:02:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.628364
- Title: Towards Scalable Lifelong Knowledge Editing with Selective Knowledge Suppression
- Title（参考訳）: 選択的知識抑圧によるスケーラブルな生涯知識編集を目指して
- Abstract要約: 大きな言語モデル(LLM)は、変化する事実や幻覚を反映するために頻繁に知識を更新する必要がある。
既存のパラメータ編集手法は、破滅的な忘れ込みによる逐次的な編集において安定性に苦しむ。
本フレームワークは,検索した情報から関連知識を選択し,クエリを効果的に修正する。
次に、モデルの本来の知識確率を抑えるためのデコード戦略を組み込む。
- 参考スコア（独自算出の注目度）: 23.273954918352903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) require frequent knowledge updates to reflect changing facts and mitigate hallucinations. To meet this demand, lifelong knowledge editing has emerged as a continual approach to modify specific pieces of knowledge without retraining the entire model. Existing parameter editing methods struggle with stability during sequential edits due to catastrophic forgetting. While retrieval-based approaches are proposed to alleviate this issue, their applicability remains limited across various datasets because of high training costs. To address these limitations and enhance scalability in lifelong settings, we propose LightEdit. Our framework first selects relevant knowledge from retrieved information to modify the query effectively. It then incorporates a decoding strategy to suppress the model's original knowledge probabilities, thereby enabling efficient edits based on the selected information. Extensive experiments on ZSRE, Counterfact, and RIPE benchmarks demonstrate that LightEdit outperforms existing lifelong knowledge editing methods. Furthermore, by minimizing training costs, LightEdit achieves cost-effective scalability, enabling easy adaptation to various datasets.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、変化する事実を反映し幻覚を緩和するために、頻繁に知識を更新する必要がある。
この要求を満たすために、生涯にわたる知識編集は、モデル全体をトレーニングすることなく、特定の知識を修正するための継続的なアプローチとして現れてきた。
既存のパラメータ編集手法は、破滅的な忘れ込みによる逐次的な編集において安定性に苦しむ。
この問題を緩和するために検索ベースのアプローチが提案されているが、その適用性はトレーニングコストが高いため、さまざまなデータセットに限られている。
このような制限に対処し、寿命の長い設定でスケーラビリティを向上させるために、LightEditを提案する。
本フレームワークは,検索した情報から関連知識を選択し,クエリを効果的に修正する。
次に、デコード戦略を組み込んでモデルの本来の知識確率を抑えることにより、選択した情報に基づいて効率的な編集を可能にする。
ZSRE、Counterfact、RIPEベンチマークに関する大規模な実験は、LightEditが既存の生涯の知識編集方法より優れていることを示している。
さらに、トレーニングコストを最小限にすることで、LightEditはコスト効率のよいスケーラビリティを実現し、さまざまなデータセットへの適応を容易にします。
関連論文リスト
- EvoEdit: Lifelong Free-Text Knowledge Editing through Latent Perturbation Augmentation and Knowledge-driven Parameter Fusion [31.09201415423854]
LF-Edit(Lifelong Free-text Knowledge Editing)を提案する。
自然言語で表現された更新をモデルに組み込むことができ、時間の経過とともに連続的な編集をサポートする。
その約束にもかかわらず、LF-Editは、以前の情報の忘れを軽減しつつ、新しい知識を統合するという2つの課題に直面している。
論文 参考訳（メタデータ） (2025-12-04T07:55:36Z) - Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。
本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。
トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。
推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
論文 参考訳（メタデータ） (2025-11-25T22:15:00Z) - Retention analysis of edited knowledge after fine-tuning [5.1877231178075425]
大規模な言語モデル(LLM)には膨大な量の知識が格納されており、事実の誤りを訂正したり、新たに取得した情報を組み込んだり、モデルの振る舞いを適応させたりする必要があることが多い。
モデル編集手法はこのような更新の効率的な解法として登場し、局所的で正確な知識修正を連続的な訓練よりも大幅に少ない計算コストで提供する。
しかし、これまで編集された知識に対する微調整の効果はよく分かっていない。
論文 参考訳（メタデータ） (2025-07-14T15:51:19Z) - ThinkEval: Practical Evaluation of Knowledge Leakage in LLM Editing using Thought-based Knowledge Graphs [3.9295613363026174]
モデル編集における間接的知識漏洩とリップル効果を定量化するフレームワークであるThinkEvalを提案する。
ThinkEvalは、編集前後の事実の因果構造を分析するために、専門知識グラフを構築し、採用する。
我々はAlphaEdit, RECT, ROME, MEMIT, PRUNEの5つの編集技術を評価する。
論文 参考訳（メタデータ） (2025-06-02T07:24:12Z) - InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [86.17245523439514]
In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。
この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。
編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
論文 参考訳（メタデータ） (2025-05-28T09:20:18Z) - WikiBigEdit: Understanding the Limits of Lifelong Knowledge Editing in LLMs [66.51203413345773]
我々は、生涯にわたる知識編集の研究を現実の編集に事実上の規模で橋渡しする。
まず,実世界のウィキデータ編集の大規模ベンチマークであるWikiBigEditを紹介した。
最初の例では、知識編集のための500万以上の質問応答ペアが含まれている。
論文 参考訳（メタデータ） (2025-03-07T18:45:42Z) - K-Edit: Language Model Editing with Contextual Knowledge Awareness [71.73747181407323]
知識に基づくモデル編集は、大きな言語モデルの重みを正確に修正することを可能にする。
我々は、文脈的に一貫した知識編集を生成するための効果的なアプローチであるK-Editを提案する。
論文 参考訳（メタデータ） (2025-02-15T01:35:13Z) - Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning [30.554641380670315]
本稿では,生涯学習における編集効率と推論効率を向上させるために,ContInuous Prompt lEarning法であるRECIPEを紹介する。
RECIPEはまず、知識文をLLMの入力クエリの埋め込みにプレフィックスした、短くて情報的な連続的なプロンプトに変換する。
さらに、動的しきい値を計算するために仲介役として機能する知識センチネル(KS)を統合する。
我々のレトリバーとプロンプトエンコーダは、信頼性、一般性、局所性といった編集特性を達成するために共同で訓練されている。
論文 参考訳（メタデータ） (2024-05-06T08:52:11Z) - EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
論文 参考訳（メタデータ） (2024-02-17T16:34:50Z) - SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering [17.20346072074533]
近年のモデル編集は,大規模言語モデルの少数の知識を効率的に更新する上で有望な手法である。
本稿では,トークンレベルのマッチングによる埋め込みの編集を行うSWEAフレームワークを提案する。
SWEA$oplus$OSのCounterFactデータセットとzsREデータセット上でのSOTA(State-of-the-art)パフォーマンスを実証する。
論文 参考訳（メタデータ） (2024-01-31T13:08:45Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。