論文の概要: A Unified Framework for Model Editing
- arxiv url: http://arxiv.org/abs/2403.14236v1
- Date: Thu, 21 Mar 2024 08:54:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:57:51.301276
- Title: A Unified Framework for Model Editing
- Title（参考訳）: モデル編集のための統一フレームワーク
- Authors: Akshat Gupta, Dev Sajnani, Gopala Anumanchipalli,
- Abstract要約: 我々は、ROMとMEMITを一つの概念的な傘の下にまとめ、同じ目標を最適化する統一フレームワークを提案する。
本研究の目的は,選択したベクトルの表現を保存しつつ,新たな事実情報の表現を記憶することである。
EMMETは, バッチサイズ256までのMEMITと同等のバッチ編集を行えることを示すとともに, EMMETの安定化における課題について議論する。
- 参考スコア（独自算出の注目度）: 2.569159339315845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model editing is a growing area focused on updating the knowledge embedded within models. Among the various methodologies, ROME and MEMIT stand out as leading "locate-and-edit" model editing techniques. While MEMIT enables batched editing of memories, ROME is limited to changing one fact at a time. This paper introduces a unifying framework that brings ROME and MEMIT under a single conceptual umbrella, optimizing for the same goal, which we call the "preservation-memorization" objective. This objective aims to preserve the representations of certain selected vectors while memorizing the representations of new factual information. Specifically, ROME optimizes this objective using an equality constraint, whereas MEMIT employs a more flexible least-square constraint. In addition to making batched edits, MEMIT also edits the model at multiple layers. We disentangle the distribution of edits to multiple layers from the optimization objective of MEMIT and show that these edit-distribution algorithms should be considered separate entities worthy of their own line of research. Finally, we present EMMET - an Equality-constrained Mass Model Editing algorithm for Transformers, a new batched memory-editing algorithm. With EMMET, we present a closed form solution for the equality-constrained version of the preservation-memorization objective. We show that EMMET is able to perform batched-edits on par with MEMIT up to a batch-size of 256 and discuss the challenges in stabilizing EMMET. By articulating the "locate-and-edit" model editing algorithms under a simple conceptual framework of "preservation-memorization", we aim to bridge the gap between intuition and mathematics and hope to simplify the journey for future researchers in model editing.
- Abstract（参考訳）: モデル編集は、モデルに埋め込まれた知識を更新することに焦点を当てた成長領域である。
様々な手法の中で、ROMEとMEMITは「位置と編集」モデルの編集技術の先駆者として際立っている。
MEMITはメモリのバッチ編集を可能にするが、ROMEは一度に1つの事実を変更することに限定されている。
本稿では,ROMとMEMITを一つの概念的な傘の下にまとめ,同じ目標を最適化する統一フレームワークを提案する。
本研究の目的は,選択したベクトルの表現を保存しつつ,新たな事実情報の表現を記憶することである。
具体的には、ROMEはこの目的を等式制約を使って最適化するが、MEMITはより柔軟な最小二乗制約を用いる。
バッチ編集に加えて、MEMITは複数のレイヤでモデルを編集する。
我々は,MEMITの最適化目標から,編集の分布を複数の層に分散させ,これらの編集配信アルゴリズムは,それぞれの研究系列に相応しい別個のエンティティであるべきであることを示す。
最後に,EMMET(Equality-Constrained Mass Model Editing Algorithm for Transformers)を提案する。
EMMETでは,保存記憶目標の等価性制約版に対する閉形式解が提示される。
EMMETは,MEMITと同等の大きさのバッチ編集を256まで行うことができ,EMMETの安定化の課題について論じる。
モデル編集アルゴリズムを「保存記憶」という単純な概念的枠組みで記述することにより、直観と数学のギャップを埋め、将来のモデル編集における研究者の旅を簡素化することを目指す。
関連論文リスト
- Learning Where to Edit Vision Transformers [27.038720045544867]
コンピュータビジョンにおける視覚変換器(ViT)の編集のための位置情報編集手法を提案する。
我々はまず、CutMix拡張データ上でハイパーネットワークをメタラーニングすることで、位置から編集までの課題に対処する。
提案手法を検証するため, サブポピュレーションシフトを導入した編集ベンチマークを構築した。
論文 参考訳（メタデータ） (2024-11-04T10:17:40Z) - Enhance Lifelong Model Editing with Continuous Data-Adapter Association [55.697627106315004]
大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。
現在のアプローチでは、元のパラメータを凍結し、知識修正毎に新しいアダプタを割り当てることで、シーケンシャルな編集を管理している。
ELDER, textbfEnhancing textbfLifelong motextbfDel textbfEditing with mixtutextbfRe of Low-Rank Adapter (LoRA)を提案する。
論文 参考訳（メタデータ） (2024-08-19T02:27:00Z) - Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。
本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。
提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
論文 参考訳（メタデータ） (2024-06-27T02:46:30Z) - Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3 [2.569159339315845]
本研究では,最新の大言語モデルであるLlama-3に着目したターゲットモデル編集分析を行う。
最大4096個の編集を対象とする評価により,最も効果的な編集層を同定する。
論文 参考訳（メタデータ） (2024-05-01T17:50:37Z) - Navigating the Dual Facets: A Comprehensive Evaluation of Sequential
Memory Editing in Large Language Models [37.91572705169647]
主要なMEメソッドは、パラメータ修飾MEとパラメータ保存MEの2つがある。
本研究は,大規模言語モデル(LLM)の逐次的編集において,MEが広範囲の基本的な機能にどのように影響するかを考察する。
論文 参考訳（メタデータ） (2024-02-16T23:08:55Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文 参考訳（メタデータ） (2024-02-15T01:50:38Z) - Latent Space Editing in Transformer-Based Flow Matching [53.75073756305241]
Flow Matching with a transformer backboneはスケーラブルで高品質な生成モデリングの可能性を秘めている。
編集スペースである$u$-spaceを導入し、制御可能で、蓄積可能で、構成可能な方法で操作できる。
最後に,テキストプロンプトを用いた微粒でニュアンスな編集を実現するための,単純かつ強力な手法を提案する。
論文 参考訳（メタデータ） (2023-12-17T21:49:59Z) - Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。
画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。
本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-10-18T17:59:02Z) - EditGAN: High-Precision Semantic Image Editing [120.49401527771067]
EditGANは高品質で高精度なセマンティック画像編集のための新しい手法である。
EditGANは前例のない細部と自由度で画像を操作可能であることを示す。
また、複数の編集を組み合わせることも簡単で、EditGANのトレーニングデータ以外の編集も可能になります。
論文 参考訳（メタデータ） (2021-11-04T22:36:33Z) - A Structural Model for Contextual Code Changes [20.185486717922615]
部分的に編集されたコードスニペットが与えられた場合、私たちのゴールは、スニペットの残りの部分に対する編集の完了を予測することです。
提案モデルでは,最先端のシーケンシャルモデルよりも28%,編集コードの生成を学習する構文モデルよりも2倍高い精度を実現している。
論文 参考訳（メタデータ） (2020-05-27T07:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。