論文の概要: A Unified Framework for Model Editing

• arxiv url: http://arxiv.org/abs/2403.14236v2
• Date: Mon, 22 Apr 2024 17:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 23:14:33.793700
• Title: A Unified Framework for Model Editing
• Title（参考訳）: モデル編集のための統一フレームワーク
• Authors: Akshat Gupta, Dev Sajnani, Gopala Anumanchipalli,
• Abstract要約: ROME と MEMIT という2つの主要な "位置と編集" モデル編集テクニックを,単一の概念的な傘の下で実現する統一フレームワークを紹介します。 本稿では,新しいバッチメモリ編集アルゴリズムであるTransformers や EMMET に対して,品質制約付きマスモデル編集アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 2.569159339315845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a unifying framework that brings two leading "locate-and-edit" model editing techniques -- ROME and MEMIT -- under a single conceptual umbrella, optimizing for the same goal, which we call the preservation-memorization objective. ROME uses an equality constraint to perform one edit at a time, whereas MEMIT employs a more flexible least-square constraint that allows for batched edits. Following the preservation-memorization objective, we present Equality-constrained Mass Model Editing algorithm for Transformers or EMMET, a new batched memory-editing algorithm that uses a closed-form solution for the equality-constrained version of the preservation-memorization objective. EMMET is a batched-version of ROME and is able to perform batched-edits up to a batch-size of 10,000 with very similar performance to MEMIT across multiple dimensions. With EMMET, we unify and achieve symmetry within the "locate-and-edit" algorithms, allowing batched-editing using both objectives.
• Abstract（参考訳）: ROMEとMEMITという2つの主要な「位置と編集」モデル編集技術をひとつの概念的な傘の下に導入する統一フレームワークを導入し、同じ目標を最適化し、保存記憶の目的と呼ぶ。 ROMEは1回に1回の編集を行うために平等制約を使用するが、MEMITはバッチ編集を可能にするより柔軟な最小二乗制約を使用する。 保存記憶の目的に従えば、保存記憶の目的の等質制約版にクローズドフォームソリューションを利用する、トランスフォーマーのための等質制約付きマスモデル編集アルゴリズム(EMMET)や、新しいバッチメモリ編集アルゴリズム(EMMET)を提案する。 EMMET は ROME のバッチ変換であり、バッチ編集を複数の次元にわたる MEMIT と非常によく似た性能で10,000 のバッチサイズまで実行することができる。 EMMETにより、我々は「位置と編集」アルゴリズム内で対称性を統一し、達成し、両方の目的を用いたバッチ編集を可能にする。

関連論文リスト

• MEMIT-Merge: Addressing MEMIT's Key-Value Conflicts in Same-Subject Batch Editing for LLMs [25.658206998291917]
  同一主題を共有する複数の編集を含むバッチ処理において,MEMITの編集効率は著しく低下することを示した。 我々の分析によると、根本原因はMEMITのキーバリューモデリングフレームワークにある。 我々は、同じ主題を共有する事実に対して、価値プロセスをマージする強化されたアプローチであるMEMIT-Mergeを提案する。
  論文  参考訳（メタデータ） (2025-02-11T07:42:09Z)
• MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation [55.101611012677616]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは,グローバルビデオ編集タスクにおいて顕著な結果を示した。 我々は、オープンドメインビデオ編集のための事前訓練されたT2Iモデル上に構築された、チューニング不要なMAEフレームワークであるMAKIMAを紹介する。
  論文  参考訳（メタデータ） (2024-12-28T02:36:51Z)
• Learning Where to Edit Vision Transformers [27.038720045544867]
  コンピュータビジョンにおける視覚変換器(ViT)の編集のための位置情報編集手法を提案する。 我々はまず、CutMix拡張データ上でハイパーネットワークをメタラーニングすることで、位置から編集までの課題に対処する。 提案手法を検証するため, サブポピュレーションシフトを導入した編集ベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-11-04T10:17:40Z)
• ELDER: Enhancing Lifelong Model Editing with Mixture-of-LoRA [55.697627106315004]
  大規模言語モデル(LLM)は、特定の知識を効率的に更新し、事実の誤りを避けるためにモデル編集を必要とする。 従来のアプローチでは、元のパラメータを凍結し、知識更新毎に新しいパラメータを個別に割り当てることで、シーケンシャルな編集を管理する。 本稿では,データとアダプタを連続的に関連付ける新しい手法であるELDERを提案する。
  論文  参考訳（メタデータ） (2024-08-19T02:27:00Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Is Bigger Edit Batch Size Always Better? -- An Empirical Study on Model Editing with Llama-3 [2.569159339315845]
  本研究では,最新の大言語モデルであるLlama-3に着目したターゲットモデル編集分析を行う。 最大4096個の編集を対象とする評価により,最も効果的な編集層を同定する。
  論文  参考訳（メタデータ） (2024-05-01T17:50:37Z)
• Navigating the Dual Facets: A Comprehensive Evaluation of Sequential Memory Editing in Large Language Models [37.91572705169647]
  主要なMEメソッドは、パラメータ修飾MEとパラメータ保存MEの2つがある。 本研究は,大規模言語モデル(LLM)の逐次的編集において,MEが広範囲の基本的な機能にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-02-16T23:08:55Z)
• The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
  単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。 編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。 我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
  論文  参考訳（メタデータ） (2024-02-15T01:50:38Z)
• Latent Space Editing in Transformer-Based Flow Matching [53.75073756305241]
  Flow Matching with a transformer backboneはスケーラブルで高品質な生成モデリングの可能性を秘めている。 編集スペースである$u$-spaceを導入し、制御可能で、蓄積可能で、構成可能な方法で操作できる。 最後に,テキストプロンプトを用いた微粒でニュアンスな編集を実現するための,単純かつ強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-17T21:49:59Z)
• Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
  オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。 画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。 本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-18T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。