論文の概要: A Unified Framework for Model Editing

• arxiv url: http://arxiv.org/abs/2403.14236v4
• Date: Thu, 25 Jul 2024 16:52:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 19:17:05.151951
• Title: A Unified Framework for Model Editing
• Title（参考訳）: モデル編集のための統一フレームワーク
• Authors: Akshat Gupta, Dev Sajnani, Gopala Anumanchipalli,
• Abstract要約: ROMEとMEMITは、主に2つの異なるモデル編集アルゴリズムであると信じられている。 我々はこの2つのアルゴリズムを一つの概念的な傘の下に統一し、同じ目標を最適化する。 両アルゴリズムは, 最適化目標, 能力, モデル編集性能, 限界の観点から等価であることを示す。
• 参考スコア（独自算出の注目度）: 2.569159339315845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ROME and MEMIT are largely believed to be two different model editing algorithms, with the major difference between them being the ability to perform batched edits. In this paper, we unify these two algorithms under a single conceptual umbrella, optimizing for the same goal, which we call the preservation-memorization objective. ROME uses an equality constraint to optimize this objective to perform one edit at a time, whereas MEMIT employs a more flexible least-square constraint that allows for batched edits. We generalize ROME and enable batched editing with equality constraint in the form of EMMET - an Equality-constrained Mass Model Editing algorithm for Transformers, a new batched memory-editing algorithm. EMMET can perform batched-edits up to a batch-size of 10,000, with very similar performance to MEMIT across multiple dimensions. With the introduction of EMMET, we truly unify ROME and MEMIT and show that both algorithms are equivalent in terms of their optimization objective, their abilities (singular and batched editing), their model editing performance and their limitations.
• Abstract（参考訳）: ROMEとMEMITは2つの異なるモデル編集アルゴリズムであると考えられており、大きな違いはバッチ編集を行う能力である。 本稿では,この2つのアルゴリズムを1つの概念的傘の下に統一し,同じ目的を最適化する。 ROMEはこの目的を最適化して一度に1回の編集を行うのに対して、MEMITはバッチ編集が可能なより柔軟な最小2乗制約を使用する。 我々は、ROMEを一般化し、EMMET(Equality-Constrained Mass Model Editing Algorithm for Transformers)という新しいバッチメモリ編集アルゴリズムを用いて、等式制約付きバッチ編集を可能にする。 EMMETは、複数の次元にわたるMEMITと非常によく似たパフォーマンスで、1万のバッチサイズまでバッチ編集を行うことができる。 EMMETの導入により、ROMEとMEMITを真に統合し、両アルゴリズムが最適化目標、能力(単体・バッチ編集)、モデル編集性能および制限の観点から等価であることを示す。

関連論文リスト

• MEMIT-Merge: Addressing MEMIT's Key-Value Conflicts in Same-Subject Batch Editing for LLMs [25.658206998291917]
  同一主題を共有する複数の編集を含むバッチ処理において,MEMITの編集効率は著しく低下することを示した。 我々の分析によると、根本原因はMEMITのキーバリューモデリングフレームワークにある。 我々は、同じ主題を共有する事実に対して、価値プロセスをマージする強化されたアプローチであるMEMIT-Mergeを提案する。
  論文  参考訳（メタデータ） (2025-02-11T07:42:09Z)
• MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation [55.101611012677616]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは,グローバルビデオ編集タスクにおいて顕著な結果を示した。 我々は、オープンドメインビデオ編集のための事前訓練されたT2Iモデル上に構築された、チューニング不要なMAEフレームワークであるMAKIMAを紹介する。
  論文  参考訳（メタデータ） (2024-12-28T02:36:51Z)
• Learning Where to Edit Vision Transformers [27.038720045544867]
  コンピュータビジョンにおける視覚変換器(ViT)の編集のための位置情報編集手法を提案する。 我々はまず、CutMix拡張データ上でハイパーネットワークをメタラーニングすることで、位置から編集までの課題に対処する。 提案手法を検証するため, サブポピュレーションシフトを導入した編集ベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-11-04T10:17:40Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3 [2.569159339315845]
  本研究では,最新の大言語モデルであるLlama-3に着目したターゲットモデル編集分析を行う。 最大4096個の編集を対象とする評価により,最も効果的な編集層を同定する。
  論文  参考訳（メタデータ） (2024-05-01T17:50:37Z)
• Navigating the Dual Facets: A Comprehensive Evaluation of Sequential Memory Editing in Large Language Models [37.91572705169647]
  主要なMEメソッドは、パラメータ修飾MEとパラメータ保存MEの2つがある。 本研究は,大規模言語モデル(LLM)の逐次的編集において,MEが広範囲の基本的な機能にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-02-16T23:08:55Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Latent Space Editing in Transformer-Based Flow Matching [53.75073756305241]
  Flow Matching with a transformer backboneはスケーラブルで高品質な生成モデリングの可能性を秘めている。 編集スペースである$u$-spaceを導入し、制御可能で、蓄積可能で、構成可能な方法で操作できる。 最後に,テキストプロンプトを用いた微粒でニュアンスな編集を実現するための,単純かつ強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-17T21:49:59Z)
• Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
  オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。 画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。 本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-18T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。