論文の概要: Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks
- arxiv url: http://arxiv.org/abs/2606.27147v1
- Date: Thu, 25 Jun 2026 15:18:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.331983
- Title: Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks
- Title（参考訳）: 反復的自己改善コードブックによる安全な自己回帰画像生成
- Abstract要約: 自己回帰統合マルチモーダルモデルは、離散化された視覚トークンを逐次予測することによって画像を生成する。
このような自己回帰的な方法で生成された画像は、どの程度安全か?
安全な自己回帰生成のための反復的自己改善コードブックを提案する。
- 参考スコア（独自算出の注目度）: 47.89755041091063
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unlike diffusion-based models that operate in continuous latent spaces, autoregressive unified multimodal models produce images by sequentially predicting discretized visual tokens. These tokens are derived from a codebook that maps embeddings to quantized visual patterns. The language-like architecture enables unified multimodal models to effectively capture text conditional information for generation, making them promising for text-to-image tasks. This also raises an interesting question: how safe are the images generated in such an autoregressive way? In this work, we propose iterative self-improving codebooks for safe autoregressive generation. We leverage the understanding and judgment capabilities of the unified multimodal model itself to identify unsafe generated images without human annotation. Subsequently, the inherent representations in the codebook are fixed to eliminate harmful mappings. Our method comprises two steps: first, we use the unified model to identify unsafe generations and construct corresponding harmful and safe image-text pairs. These pairs are used to construct the Harmful Space and guide updates to the codebook, thereby eliminating harmful outputs. Second, we perform adaptive fine-tuning on the codebook within the harmless space using safe image-text pairs to ensure the quality of generated images. These two steps are repeated until no further improvement is observed, producing a safety-enhanced model codebook. Without additional external feedback, the safety of models is improved iteratively.
- Abstract（参考訳）: 連続的な潜伏空間で動作する拡散ベースモデルとは異なり、自己回帰統合マルチモーダルモデルは、離散化された視覚トークンを逐次予測することによって画像を生成する。
これらのトークンは、埋め込みを量子化された視覚パターンにマッピングするコードブックに由来する。
言語ライクなアーキテクチャは、統一されたマルチモーダルモデルにより、生成のためのテキスト条件情報を効果的にキャプチャし、テキストから画像へのタスクを約束する。
このような自己回帰的な方法で生成された画像は、どの程度安全か?
本研究では,安全な自己回帰生成のための反復的自己改善コードブックを提案する。
我々は、統合マルチモーダルモデル自体の理解と判断能力を活用し、人間のアノテーションを使わずに、安全でない画像を特定する。
その後、コードブックの固有の表現は、有害なマッピングを排除するために固定される。
まず、統一モデルを用いて、安全でない世代を特定し、有害で安全な画像テキストペアを構築する。
これらのペアは、Harmful Spaceを構築し、コードブックの更新をガイドするために使用され、有害な出力を排除します。
第2に、安全な画像テキストペアを用いて、無害空間内のコードブック上で適応的な微調整を行い、生成した画像の品質を保証する。
これらの2つのステップは、さらなる改善が観測されるまで繰り返され、安全強化されたモデルコードブックを生成する。
外部からのフィードバックがなければ、モデルの安全性は反復的に改善される。
関連論文リスト
- Disciplined Diffusion: Text-to-Image Diffusion Model against NSFW Generation [9.862349752373577]
テキスト・ツー・イメージ(T2I)拡散モデルでは、テキスト・プロンプトから高品質な画像を作成することができる。
有害な入力が与えられた場合、攻撃的または乱雑なイメージを生成できるため、安全上の懸念が生じる。
そこで我々は,Not Safe For Work (NSFW) 生成に対抗して,新しいロバストなテキストと画像の拡散である Disciplined Diffusion (DDiffusion) を提案する。
論文 参考訳（メタデータ） (2026-05-01T21:33:06Z) - SafeGuider: Robust and Practical Content Safety Control for Text-to-Image Models [74.11062256255387]
テキスト・ツー・イメージのモデルは、安全対策を回避し、有害なコンテンツを生成できる敵のプロンプトに対して非常に脆弱である。
SafeGuiderは, 生成品質を損なうことなく, 堅牢な安全制御を実現するための2段階のフレームワークである。
SafeGuiderは攻撃成功率の最小化において例外的な効果を示し、様々な攻撃シナリオで最大速度は5.48%である。
論文 参考訳（メタデータ） (2025-10-05T10:24:48Z) - VCE: Safe Autoregressive Image Generation via Visual Contrast Exploitation [57.36681904639463]
自己回帰的テキスト・画像モデルを保護する方法はまだ未検討のままである。
コンテンツセマンティクスから安全でない概念を正確に分離する新しいフレームワークであるVisual Contrast Exploitation (VCE)を提案する。
提案手法は,安全でない概念を消去し,無関係な概念の整合性を保ちながら,最先端の成果を効果的に確保できることを実証する。
論文 参考訳（メタデータ） (2025-09-21T09:00:27Z) - Iterative Prompt Refinement for Safer Text-to-Image Generation [4.174845397893041]
既存の安全手法は、大言語モデル(LLM)を用いて、通常、プロンプトを洗練させる。
本稿では、視覚言語モデル(VLM)を用いて、入力プロンプトと生成された画像の両方を解析する反復的プロンプト改善アルゴリズムを提案する。
提案手法は,ユーザの意図と整合性を損なうことなく,より安全なT2Iコンテンツを生成するための実用的なソリューションを提供する。
論文 参考訳（メタデータ） (2025-09-17T07:16:06Z) - Improving Autoregressive Image Generation through Coarse-to-Fine Token Prediction [4.900334213807624]
自己回帰モデリングをより困難にすることなく、大規模なコードブックのメリットを享受する方法を示す。
本フレームワークは,(1)各トークンの粗いラベルを逐次予測する自己回帰モデル,(2)粗いラベルに条件付けられた全てのトークンの細粒度ラベルを同時に予測する補助モデル,の2段階からなる。
論文 参考訳（メタデータ） (2025-03-20T14:41:29Z) - Safeguarding Text-to-Image Generation via Inference-Time Prompt-Noise Optimization [29.378296359782585]
テキスト・ツー・イメージ(T2I)拡散モデルはテキスト・プロンプトに基づいて高品質で多様な画像を生成する能力で広く認識されている。
T2Iモデルの不適切な画像生成を防ぐための現在の取り組みは、バイパスが容易であり、敵の攻撃に対して脆弱である。
本稿では,PNO(Prompt-Noise Optimization)と呼ばれる,安全でない画像生成を緩和する新しい学習不要手法を提案する。
論文 参考訳（メタデータ） (2024-12-05T05:12:30Z) - Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。
我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。
安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
論文 参考訳（メタデータ） (2024-11-21T09:47:13Z) - Latent Guard: a Safety Framework for Text-to-image Generation [64.49596711025993]
既存の安全対策は、容易に回避できるテキストブラックリストや有害なコンテンツ分類に基づいている。
テキスト・ツー・イメージ生成の安全性向上を目的としたフレームワークであるLatent Guardを提案する。
ブラックリストベースのアプローチにインスパイアされたLatent Guardは、T2Iモデルのテキストエンコーダの上に潜在空間を学習し、有害な概念の存在を確認することができる。
論文 参考訳（メタデータ） (2024-04-11T17:59:52Z) - Safe-CLIP: Removing NSFW Concepts from Vision-and-Language Models [42.19184265811366]
本研究では,NSFW入力に対する感度を低下させることにより,視覚・言語モデルの安全性を高める新しいアプローチを提案する。
安全な文と安全でない文の変換を訓練した大規模言語モデルから得られた合成データに対して,CLIPモデルを微調整することで,これを実現できることを示す。
論文 参考訳（メタデータ） (2023-11-27T19:02:17Z) - Not All Image Regions Matter: Masked Vector Quantization for
Autoregressive Image Generation [78.13793505707952]
既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。
そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-23T02:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。