論文の概要: MELO: Enhancing Model Editing with Neuron-Indexed Dynamic LoRA

• arxiv url: http://arxiv.org/abs/2312.11795v1
• Date: Tue, 19 Dec 2023 02:11:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 17:25:29.704908
• Title: MELO: Enhancing Model Editing with Neuron-Indexed Dynamic LoRA
• Title（参考訳）: MELO: ニューロンインデクシング動的ロラによるモデル編集の強化
• Authors: Lang Yu, Qin Chen, Jie Zhou, Liang He
• Abstract要約: ニューロンインデクシング動的LoRA(MELO)に基づくプラグインモデル編集手法を提案する。 提案するMELOは,3つの逐次編集タスクにおける最先端の編集性能を実現する。
• 参考スコア（独自算出の注目度）: 34.21194537887934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown great success in various Natural Language Processing (NLP) tasks, whist they still need updates after deployment to fix errors or keep pace with the changing knowledge in the world. Researchers formulate such problem as Model Editing and have developed various editors focusing on different axes of editing properties. However, current editors can hardly support all properties and rely on heavy computational resources. In this paper, we propose a plug-in Model Editing method based on neuron-indexed dynamic LoRA (MELO), which alters the behavior of language models by dynamically activating certain LoRA blocks according to the index built in an inner vector database. Our method satisfies various editing properties with high efficiency and can be easily integrated into multiple LLM backbones. Experimental results show that our proposed MELO achieves state-of-the-art editing performance on three sequential editing tasks (document classification, question answering and hallucination correction), while requires the least trainable parameters and computational cost.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクで大きな成功を収めている。 研究者らはモデル編集のような問題を定式化し、編集特性の異なる軸に着目した様々なエディタを開発した。 しかし、現在のエディタはすべてのプロパティをサポートできず、重い計算リソースに依存している。 本稿では、内部ベクトルデータベースに構築されたインデックスに基づいて特定のLoRAブロックを動的に活性化することにより言語モデルの振る舞いを変化させる、ニューロンインデクシング動的LoRA(MELO)に基づくプラグインモデル編集手法を提案する。 本手法は,様々な編集特性を高い効率で満たし,複数のllmバックボーンに容易に統合できる。 実験の結果,提案手法は3つの逐次編集タスク(文書分類,質問応答,幻覚修正)において最先端の編集性能を達成でき,しかも最小の学習パラメータと計算コストが要求されることがわかった。

関連論文リスト

• Neuron-Level Sequential Editing for Large Language Models [19.324852774144752]
  シーケンシャルモデル編集をサポートするための textbfNeuron レベルの textbfSequential textbfEditing (NSE) を導入する。 具体的には、モデルが失敗するのを防ぐために、モデルの最初の重みを使ってターゲット層の隠蔽状態を最適化する。 実験の結果、NSEは現在の修正パラメーターモデル編集法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-10-05T05:52:22Z)
• Enhance Lifelong Model Editing with Continuous Data-Adapter Association [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 現在のアプローチでは、元のパラメータを凍結し、知識修正毎に新しいアダプタを割り当てることで、シーケンシャルな編集を管理している。 ELDER, textbfEnhancing textbfLifelong motextbfDel textbfEditing with mixtutextbfRe of Low-Rank Adapter (LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation [18.087144677674786]
  我々は多言語知識編集(MKE)に重点を置いており、複数の言語にまたがる更新の伝播が必要である。 12言語からなる新しいデータセットであるMKEB(Multilingual Knowledge Editing Benchmark)を紹介する。 また,ニューロンマスト型低ランク適応(MEMLA)による知識編集を促進する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T14:03:50Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
  大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。 分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。 これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-01-09T18:03:15Z)
• SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models [91.22477798288003]
  本稿では,命令ベースの画像編集の新しいアプローチであるSmartEditを紹介する。 MLLM(Multimodal Large Language Models)を利用して、その理解と推論能力を強化する。 我々は,より複雑な命令に対して,SmartEditの編集機能を効果的に刺激することのできる,少量の複雑な命令編集データを示す。
  論文  参考訳（メタデータ） (2023-12-11T17:54:11Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。