論文の概要: EAR: Erasing Concepts from Unified Autoregressive Models

• arxiv url: http://arxiv.org/abs/2506.20151v1
• Date: Wed, 25 Jun 2025 06:15:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.614396
• Title: EAR: Erasing Concepts from Unified Autoregressive Models
• Title（参考訳）: EAR: 統一された自己回帰モデルから概念を消去する
• Authors: Haipeng Fan, Shiyuan Zhang, Baohunesitu, Zihang Guo, Huaiwen Zhang,
• Abstract要約: 本稿では,ARモデルにおける有効かつ有効に保存できる概念消去のための微調整手法であるErasure Autoregressive Model (EAR)を提案する。 具体的には、パッチレベルのデコードと消去対象との整合性を確保するために、Windowed Gradient Accumulation (WGA)戦略を導入する。 我々はまた、ARモデルにおける概念消去を評価するためのより厳密で包括的な基盤を提供することを目的として、新しいベンチマークであるErase Concept Generator and Visual Filter (ECGVF)を提案する。
• 参考スコア（独自算出の注目度）: 3.55166983092355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive (AR) models have achieved unified and strong performance across both visual understanding and image generation tasks. However, removing undesired concepts from AR models while maintaining overall generation quality remains an open challenge. In this paper, we propose Erasure Autoregressive Model (EAR), a fine-tuning method for effective and utility-preserving concept erasure in AR models. Specifically, we introduce Windowed Gradient Accumulation (WGA) strategy to align patch-level decoding with erasure objectives, and Thresholded Loss Masking (TLM) strategy to protect content unrelated to the target concept during fine-tuning. Furthermore, we propose a novel benchmark, Erase Concept Generator and Visual Filter (ECGVF), aim at provide a more rigorous and comprehensive foundation for evaluating concept erasure in AR models. Specifically, we first employ structured templates across diverse large language models (LLMs) to pre-generate a large-scale corpus of target-replacement concept prompt pairs. Subsequently, we generate images from these prompts and subject them to rigorous filtering via a visual classifier to ensure concept fidelity and alignment. Extensive experimental results conducted on the ECGVF benchmark with the AR model Janus-Pro demonstrate that EAR achieves marked improvements in both erasure effectiveness and model utility preservation. Code is available at: https://github.com/immc-lab/ear/
• Abstract（参考訳）: 自己回帰(AR)モデルは、視覚的理解と画像生成の両方において統一的で強力なパフォーマンスを達成した。 しかし、全体的な生成品質を維持しながら、ARモデルから望ましくない概念を取り除くことは、オープンな課題である。 本稿では,ARモデルにおける有効かつ有効に保存できる概念消去のための微調整手法であるErasure Autoregressive Model (EAR)を提案する。 具体的には、パッチレベルのデコードと消去目標を整合させるウィンドウドグラディエント累積(WGA)戦略と、微調整中にターゲット概念とは無関係なコンテンツを保護するためのThresholded Loss Masking(TLM)戦略を導入する。 さらに,ARモデルにおける概念消去を評価するための,より厳密で包括的な基盤を提供することを目的とした,新しいベンチマークであるErase Concept Generator and Visual Filter(ECGVF)を提案する。 具体的には、まず、多種多様な大規模言語モデル(LLM)にまたがる構造化テンプレートを用いて、大規模コーパスのターゲット置換概念のプロンプトペアを事前生成する。 その後、これらのプロンプトから画像を生成し、視覚分類器を介して厳密なフィルタリングを行い、概念の忠実さとアライメントを確保する。 The ECGVF benchmark with the AR model Janus-Pro showed that EAR achieves marked improvements in erasure effectiveness and model utility storage。 コードは、https://github.com/immc-lab/ear/で入手できる。

関連論文リスト

• AR-RAG: Autoregressive Retrieval Augmentation for Image Generation [35.008697736838194]
  本稿では, 自動回帰検索(AR-RAG)を導入し, パッチレベルでのケネレス近傍検索を自己回帰的に組み込むことにより, 画像生成を向上させる新しいパラダイムを提案する。 我々は、Midjourney-30K, GenEval, DPG-Benchなど、広く採用されているベンチマークにおけるAR-RAGの有効性を検証する。
  論文  参考訳（メタデータ） (2025-06-08T01:33:05Z)
• Can We Generate Images with CoT? Let's Verify and Reinforce Image Generation Step by Step [77.86514804787622]
  CoT(Chain-of-Thought)推論は、複雑な理解タスクに取り組むために大規模なモデルで広く研究されている。 自己回帰画像生成を促進するために,CoT推論の可能性について,初めて包括的調査を行った。 本稿では,自動回帰画像生成に特化したPARMとPARM++を提案する。
  論文  参考訳（メタデータ） (2025-01-23T18:59:43Z)
• DuMo: Dual Encoder Modulation Network for Precise Concept Erasure [75.05165577219425]
  非ターゲット概念に対する最小限の障害を伴う不適切なターゲット概念の正確な消去を実現するDuMo(Dual Encoder Modulation Network)を提案する。 提案手法は, 明示的コンテンツ消去, カートゥーン概念除去, アーティスティックスタイル消去における最先端性能を実現し, 代替手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2025-01-02T07:47:34Z)
• A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
  画像復元(IR)は、ノイズ、ぼかし、圧縮、悪天候などの様々な要因によって劣化した入力から高品質な画像を復元することを目的としている。 従来のIR手法は、一般的に特定の種類の劣化に焦点を当てており、複雑な歪みを伴う現実世界のシナリオにおけるそれらの効果を制限している。 オールインワンのイメージ復元パラダイムが最近登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供している。
  論文  参考訳（メタデータ） (2024-10-19T11:11:09Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Incorporating Reinforced Adversarial Learning in Autoregressive Image Generation [39.55651747758391]
  本稿では,自己回帰モデルに対するポリシー勾配最適化に基づく強化適応学習(RAL)を提案する。 RALはまた、VQ-VAEフレームワークの異なるモジュール間のコラボレーションを強化する。 提案手法は,64$times$64画像解像度でCelebaの最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-07-20T08:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。