論文の概要: QueueEDIT: Structural Self-Correction for Sequential Model Editing in LLMs

• arxiv url: http://arxiv.org/abs/2506.17864v1
• Date: Sun, 22 Jun 2025 00:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.62195
• Title: QueueEDIT: Structural Self-Correction for Sequential Model Editing in LLMs
• Title（参考訳）: QueueEDIT:LLMにおける逐次モデル編集のための構造自己補正
• Authors: Taolin Zhang, Haidong Kang, Dongyang Li, Qizhou Chen, Chengyu Wang Xiaofeng He, Richang Hong,
• Abstract要約: 大規模言語モデル(LLM)のためのキューベースの自己補正フレームワークを提案する。 我々は長周期依存に対処し、LLMの一般的な機能に対するパラメータバイアスの影響を軽減する。 我々のフレームワークは、様々な中小企業設定において強力なベースラインをはるかに上回り、シングルターン編集における競争力を維持する。
• 参考スコア（独自算出の注目度）: 34.185124464167764
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently, large language models (LLMs) have demonstrated impressive results but still suffer from hallucinations. Model editing has been proposed to correct factual inaccuracies in LLMs. A challenging case is sequential model editing (SME), which aims to rectify errors continuously rather than treating them as a one-time task. During SME, the general capabilities of LLMs can be negatively affected due to the introduction of new parameters. In this paper, we propose a queue-based self-correction framework (QueueEDIT) that not only enhances SME performance by addressing long-sequence dependency but also mitigates the impact of parameter bias on the general capabilities of LLMs. Specifically, we first introduce a structural mapping editing loss to map the triplets to the knowledge-sensitive neurons within the Transformer layers of LLMs. We then store the located parameters for each piece of edited knowledge in a queue and dynamically align previously edited parameters. In each edit, we select queue parameters most relevant to the currently located parameters to determine whether previous knowledge needs realignment. Irrelevant parameters in the queue are frozen, and we update the parameters at the queue head to the LLM to ensure they do not harm general abilities. Experiments show that our framework significantly outperforms strong baselines across various SME settings and maintains competitiveness in single-turn editing. The resulting LLMs also preserve high capabilities in general NLP tasks throughout the SME process.
• Abstract（参考訳）: 近年,大きな言語モデル (LLM) が目覚ましい結果を示したが,まだ幻覚に悩まされている。 LLMの事実的不正確性を正すためにモデル編集が提案されている。 問題となるのはシーケンシャルモデル編集(SME)であり、これは1回のタスクとして扱うのではなく、エラーを継続的に修正することを目的としている。 中小企業においては, 新たなパラメータの導入により, LLMの一般性に悪影響を及ぼす可能性がある。 本稿では、待ち行列ベースの自己補正フレームワーク(QueueEDIT)を提案し、長周期依存に対処することで中小企業のパフォーマンスを向上させるだけでなく、LLMの汎用能力に対するパラメータバイアスの影響を軽減する。 具体的には、まず、LLMのトランスフォーマー層内の知識に敏感なニューロンに三重項をマッピングする構造的マッピング編集損失を導入する。 次に、各編集された知識の場所パラメータをキューに格納し、以前に編集されたパラメータを動的に調整します。 各編集では、現在位置しているパラメータに最も関連があるキューパラメータを選択し、以前の知識が再配置を必要とするかどうかを判断する。 待ち行列の関連パラメータは凍結され、待ち行列のパラメータをLSMに更新し、一般の能力を損なわないようにする。 実験により,本フレームワークは様々な中小企業設定において強いベースラインを著しく上回り,シングルターン編集における競争力を維持していることが示された。 LLMは、SMEプロセス全体を通して一般的なNLPタスクの高機能も維持する。

関連論文リスト

• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [82.34547399693966]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 残メモリを介して知識を注入する新しいスケーラブルなフレームワークであるMEMOIRを提案する。 MeMOIRは各編集をメモリパラメータの別のサブセットに限定し、編集間の干渉を最小限にする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Reinforced Lifelong Editing for Language Models [12.101856766731574]
  大規模言語モデル(LLM)は、事前学習したコーパスから情報を取得するが、その記憶された知識は、時間とともに不正確になるか、時代遅れになる可能性がある。 モデル編集は、リトレーニングなしでモデルパラメータを変更することでこの課題に対処する。 本稿では,RLに基づく編集手法であるRLEditを提案する。
  論文  参考訳（メタデータ） (2025-02-09T03:37:06Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [91.79567270986901]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。