Fugu-MT 論文翻訳(概要): LEMoE: Advanced Mixture of Experts Adaptor for Lifelong Model Editing of Large Language Models

論文の概要: LEMoE: Advanced Mixture of Experts Adaptor for Lifelong Model Editing of Large Language Models

arxiv url: http://arxiv.org/abs/2406.20030v1
Date: Fri, 28 Jun 2024 16:17:41 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 16:20:56.586889
Title: LEMoE: Advanced Mixture of Experts Adaptor for Lifelong Model Editing of Large Language Models
Title（参考訳）: LEMoE:大規模言語モデルの生涯モデル編集のためのエキスパート適応の高度混合
Authors: Renzhi Wang, Piji Li,
Abstract要約: 大規模言語モデル(LLM)は、変化し続ける世界の事実をそのまま維持するために、継続的な知識更新を必要とする。我々は、生涯モデル編集のための高度なMixture of Experts (MoE)アダプタLEMoEを紹介する。
参考スコア（独自算出の注目度）: 30.831866499812925
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) require continual knowledge updates to stay abreast of the ever-changing world facts, prompting the formulation of lifelong model editing task. While recent years have witnessed the development of various techniques for single and batch editing, these methods either fail to apply or perform sub-optimally when faced with lifelong editing. In this paper, we introduce LEMoE, an advanced Mixture of Experts (MoE) adaptor for lifelong model editing. We first analyze the factors influencing the effectiveness of conventional MoE adaptor in lifelong editing, including catastrophic forgetting, inconsistent routing and order sensitivity. Based on these insights, we propose a tailored module insertion method to achieve lifelong editing, incorporating a novel KV anchor routing to enhance routing consistency between training and inference stage, along with a concise yet effective clustering-based editing order planning. Experimental results demonstrate the effectiveness of our method in lifelong editing, surpassing previous model editing techniques while maintaining outstanding performance in batch editing task. Our code will be available.
Abstract（参考訳）: 大規模言語モデル(LLM)は、常に変化する世界の事実をそのまま維持するために、継続的な知識更新を必要とし、寿命の長いモデル編集タスクを策定する。近年では、一括編集やバッチ編集の様々な手法が開発されているが、長寿命編集に直面すると、これらの手法は適用できないか、準最適化されないかのいずれかである。本稿では、生涯モデル編集のための高度なMixture of Experts (MoE)アダプタLEMoEを紹介する。まず, 従来型MoEアダプタの生涯編集における有効性に影響を与える要因を解析し, 破滅的忘れ, 不整合性ルーティング, 順序感度などを検討した。これらの知見に基づき、トレーニング段階と推論段階のルーティング一貫性を高めるため、新しいKVアンカールーティングと、簡潔で効果的なクラスタリングベースの編集順序計画を組み込んだ、生涯の編集を実現するための調整済みモジュール挿入手法を提案する。実験により, バッチ編集作業における優れた性能を維持しつつ, 従来のモデル編集手法を超越した, 生涯編集における本手法の有効性を実証した。私たちのコードは利用可能です。

関連論文リスト

Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
論文参考訳（メタデータ） (2024-10-10T11:09:00Z)
Enhance Lifelong Model Editing with Continuous Data-Adapter Association [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。現在のアプローチでは、元のパラメータを凍結し、知識修正毎に新しいアダプタを割り当てることで、シーケンシャルな編集を管理している。 ELDER, textbfEnhancing textbfLifelong motextbfDel textbfEditing with mixtutextbfRe of Low-Rank Adapter (LoRA)を提案する。
論文参考訳（メタデータ） (2024-08-19T02:27:00Z)
MEMoE: Enhancing Model Editing with Mixture of Experts Adaptors [30.831866499812925]
MEMoEは、Mixture of Experts (MoE)アーキテクチャと知識アンカールーティング戦略を利用したモデル編集アダプタである。バッチ編集とシーケンシャルなバッチ編集の両方よりも,我々のアプローチの方が優れていることを示す。
論文参考訳（メタデータ） (2024-05-29T13:49:44Z)
Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3 [2.569159339315845]
本研究では,最新の大言語モデルであるLlama-3に着目したターゲットモデル編集分析を行う。最大4096個の編集を対象とする評価により,最も効果的な編集層を同定する。
論文参考訳（メタデータ） (2024-05-01T17:50:37Z)
Consecutive Batch Model Editing with HooK Layers [59.673084839708224]
CoachHooKは、シーケンシャルおよびバッチ編集を同時にサポートするモデル編集方法である。メモリフレンドリで、時間とともにサイズが変化しないいくつかのフック層を格納するために、少量しか必要としない。
論文参考訳（メタデータ） (2024-03-08T14:07:44Z)
InstructEdit: Instruction-based Knowledge Editing for Large Language Models [39.2147118489123]
InstructEditと呼ばれる命令ベースの編集技術を開発し、簡単な命令を使って様々なタスクパフォーマンスへのエディタの適応を容易にする。予期せぬタスクを含む実験は、InstructEditが以前の強いベースラインを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2024-02-25T15:46:33Z)
The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文参考訳（メタデータ） (2024-02-15T01:50:38Z)
Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
論文参考訳（メタデータ） (2024-01-09T18:03:15Z)
DUnE: Dataset for Unified Editing [3.7346004746366384]
自然言語文を編集するDUnE-an編集ベンチマークを導入する。検索強化言語モデリングは、特殊な編集技術よりも優れていることを示す。
論文参考訳（メタデータ） (2023-11-27T18:56:14Z)
Emu Edit: Precise Image Editing via Recognition and Generation Tasks [62.95717180730946]
本稿では,マルチタスク画像編集モデルであるEmu Editについて述べる。我々は、地域ベースの編集、自由形式の編集、コンピュータビジョンタスクなど、前例のない範囲でマルチタスクに訓練する。 Emu Editは画像インペイント、超解像、編集タスクの構成といった新しいタスクに、ラベル付き例で一般化できることを示す。
論文参考訳（メタデータ） (2023-11-16T18:55:58Z)
Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。