論文の概要: Massive Editing for Large Language Models Based on Dynamic Weight Generation
- arxiv url: http://arxiv.org/abs/2512.14395v1
- Date: Tue, 16 Dec 2025 13:32:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-17 16:49:26.726072
- Title: Massive Editing for Large Language Models Based on Dynamic Weight Generation
- Title（参考訳）: 動的重み生成に基づく大規模言語モデルの大量編集
- Authors: Wentao Wan, Qiqing Lao, Zhiwei Xie, Hefeng Wu, Runnan Lin, Liang Lin, Keze Wang,
- Abstract要約: 本稿では,動的重み生成(MeG)に基づく大規模言語モデル(LLM)の大量編集手法を提案する。
我々のMeGは信頼性,一般性,局所性といった指標を用いて,大規模知識編集の性能を大幅に向上させることができる。
- 参考スコア（独自算出の注目度）: 51.34392079812964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Editing (KE) is a field that studies how to modify some knowledge in Large Language Models (LLMs) at a low cost (compared to pre-training). Currently, performing large-scale edits on LLMs while ensuring the Reliability, Generality, and Locality metrics of the edits remain a challenge. This paper proposes a Massive editing approach for LLMs based on dynamic weight Generation (MeG). Our MeG involves attaching a dynamic weight neuron to specific layers of the LLMs and using a diffusion model to conditionally generate the weights of this neuron based on the input query required for the knowledge. This allows the use of adding a single dynamic weight neuron to achieve the goal of large-scale knowledge editing. Experiments show that our MeG can significantly improve the performance of large-scale KE in terms of Reliability, Generality, and Locality metrics compared to existing knowledge editing methods, particularly with a high percentage point increase in the absolute value index for the Locality metric, demonstrating the advantages of our proposed method.
- Abstract（参考訳）: 知識編集(KE)は、Large Language Models(LLM)の知識を低コスト(事前学習と比較して)に修正する方法を研究する分野である。
現在、LLMで大規模な編集を行ないながら、編集の信頼性、汎用性、局所性のメトリクスを確実にすることは、依然として課題である。
本稿では,動的重み生成(MeG)に基づくLLMの大量編集手法を提案する。
我々のMeGは、LLMの特定の層に動的重みニューロンをアタッチし、知識に必要な入力クエリに基づいて拡散モデルを用いて、このニューロンの重みを条件付きで生成する。
これにより、単一の動的重み付けニューロンを追加して、大規模知識編集の目標を達成することができる。
実験の結果,既存の知識編集手法と比較して,大規模KEの信頼性,一般性,局所性などの指標では,特に局所性指標の絶対値指数が高い割合で向上し,提案手法の利点を実証できることがわかった。
関連論文リスト
- Balancing Knowledge Updates: Toward Unified Modular Editing in LLMs [24.366567992263303]
我々はメモリとAttnモジュールの両方を更新するためにIntAttn-Editを提案する。
IntAttn-Editは、従来の方法よりも高い編集成功、より優れた一般化、より強力な知識保存を実現する。
論文 参考訳（メタデータ） (2025-10-31T11:37:39Z) - DySK-Attn: A Framework for Efficient, Real-Time Knowledge Updating in Large Language Models via Dynamic Sparse Knowledge Attention [2.168994673914057]
大きな言語モデル(LLM)は、その知識が静的で、すぐに時代遅れになるという限界に悩まされる。
我々は,LLMが動的外部ソースからリアルタイム知識を効率的に統合できる新しいフレームワークであるDySK-Attnを提案する。
論文 参考訳（メタデータ） (2025-08-10T05:22:38Z) - Latent Knowledge Scalpel: Precise and Massive Knowledge Editing for Large Language Models [3.834827405473377]
大規模言語モデル(LLM)は、しばしば事前学習から不正確な情報や時代遅れの情報を保持し、推論中に誤った予測や偏りのある出力をもたらす。
我々はLLMエディタであるLatent Knowledge Scalpel(LKS)を紹介し、軽量なハイパーネットワークを用いて特定のエンティティの潜在知識を操作し、正確かつ大規模な編集を可能にする。
Llama-2とMistralで行った実験では、同時編集数が10,000に達したとしても、LKSは編集されたLLMの一般的な能力を保ちながら知識編集を効果的に行う。
論文 参考訳（メタデータ） (2025-08-01T03:51:43Z) - ConKE: Conceptualization-Augmented Knowledge Editing in Large Language Models for Commonsense Reasoning [47.98788315789392]
ConceptEditは、概念化とインスタンス化をKnowledge Editingパイプラインに統合するフレームワークである。
その結果,コンセプション編集は,他のベースラインに比べて信頼性が向上し,コモンセンスの知識を生み出すことができた。
論文 参考訳（メタデータ） (2024-12-16T03:34:40Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - Graph Neural Prompting with Large Language Models [32.97391910476073]
Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。
複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
論文 参考訳（メタデータ） (2023-09-27T06:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。