論文の概要: EditAR: Unified Conditional Generation with Autoregressive Models

• arxiv url: http://arxiv.org/abs/2501.04699v1
• Date: Wed, 08 Jan 2025 18:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:55:47.459440
• Title: EditAR: Unified Conditional Generation with Autoregressive Models
• Title（参考訳）: EditAR: 自己回帰モデルによる統一条件生成
• Authors: Jiteng Mu, Nuno Vasconcelos, Xiaolong Wang,
• Abstract要約: 本稿では,条件付き画像生成タスクのための単一の統合自己回帰フレームワークであるEditARを提案する。 このモデルは、画像と命令の両方を入力として取り、バニラの次のパラダイムで編集された画像トークンを予測する。 確立されたベンチマークにおいて,様々なタスクにまたがる実効性を評価し,様々なタスク固有の手法に対する競争性能を示す。
• 参考スコア（独自算出の注目度）: 58.093860528672735
• License:
• Abstract: Recent progress in controllable image generation and editing is largely driven by diffusion-based methods. Although diffusion models perform exceptionally well in specific tasks with tailored designs, establishing a unified model is still challenging. In contrast, autoregressive models inherently feature a unified tokenized representation, which simplifies the creation of a single foundational model for various tasks. In this work, we propose EditAR, a single unified autoregressive framework for a variety of conditional image generation tasks, e.g., image editing, depth-to-image, edge-to-image, segmentation-to-image. The model takes both images and instructions as inputs, and predicts the edited images tokens in a vanilla next-token paradigm. To enhance the text-to-image alignment, we further propose to distill the knowledge from foundation models into the autoregressive modeling process. We evaluate its effectiveness across diverse tasks on established benchmarks, showing competitive performance to various state-of-the-art task-specific methods. Project page: https://jitengmu.github.io/EditAR/
• Abstract（参考訳）: 制御可能な画像生成・編集の最近の進歩は拡散法によって大きく左右される。 拡散モデルは、調整された設計で特定のタスクにおいて非常によく機能するが、統一されたモデルを確立することは依然として困難である。 対照的に、自己回帰モデルは本質的に、様々なタスクのための単一の基礎モデルの作成を単純化する統一されたトークン化表現を特徴付ける。 本研究では,画像編集,深度画像,エッジ画像,セグメンテーション画像など,さまざまな条件の画像生成タスクのための単一の統合自己回帰フレームワークであるEditARを提案する。 このモデルは、画像と命令の両方を入力として取り、バニラの次のパラダイムで編集された画像トークンを予測する。 テキストと画像のアライメントを強化するため,基礎モデルから自己回帰モデリングプロセスへ知識を抽出することを提案する。 確立されたベンチマークにおいて,様々なタスクにまたがる実効性を評価し,様々なタスク固有の手法に対する競争性能を示す。 プロジェクトページ: https://jitengmu.github.io/EditAR/

関連論文リスト

• DreamOmni: Unified Image Generation and Editing [51.45871494724542]
  本稿では,画像生成と編集の統一モデルであるDream Omniを紹介する。 訓練のためにドリーム・オムニはT2I世代と下流のタスクを共同で訓練する。 このコラボレーションは、編集性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-22T17:17:28Z)
• GraPE: A Generate-Plan-Edit Framework for Compositional T2I Synthesis [10.47359822447001]
  本稿では,複雑な多段階生成のタスクを3段階に分解する,T2I合成の代替パラダイムを提案する。 提案手法は,モジュール性が高く,トレーニングが自由であり,画像生成モデルと編集モデルの組み合わせに対して適用可能であるという事実から,その強みを導出する。
  論文  参考訳（メタデータ） (2024-12-08T22:29:56Z)
• A Simple Approach to Unifying Diffusion-based Conditional Generation [63.389616350290595]
  多様な条件生成タスクを処理するための、シンプルで統一されたフレームワークを導入します。 提案手法は,異なる推論時間サンプリング方式による多目的化を実現する。 我々のモデルは、非親密なアライメントや粗い条件付けのような追加機能をサポートしています。
  論文  参考訳（メタデータ） (2024-10-15T09:41:43Z)
• Diffusion Model-Based Image Editing: A Survey [46.244266782108234]
  様々な画像生成や編集作業のための強力なツールとして,拡散モデルが登場している。 本稿では,画像編集のための拡散モデルを用いた既存手法の概要について述べる。 テキスト誘導画像編集アルゴリズムの性能を更に評価するために,系統的なベンチマークであるEditEvalを提案する。
  論文  参考訳（メタデータ） (2024-02-27T14:07:09Z)
• Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
  Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。 画像生成のための*multi-modal instruction*を導入する。 画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
  論文  参考訳（メタデータ） (2024-01-03T19:31:58Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• SINE: SINgle Image Editing with Text-to-Image Diffusion Models [10.67527134198167]
  本研究の目的は、単一画像編集の問題に対処することである。 分類器フリーガイダンスに基づく新しいモデルベースガイダンスを提案する。 スタイルの変更、コンテンツの追加、オブジェクト操作など、有望な編集機能を示す。
  論文  参考訳（メタデータ） (2022-12-08T18:57:13Z)
• Learning to Model Editing Processes [98.11448946134894]
  本稿では、反復的にシーケンスを生成するプロセス全体をモデル化し、編集プロセスのモデリングを提案する。 我々は、多段階編集の可能性を記述するための概念的枠組みを構築し、これらの多段階編集に基づいてシーケンスの生成モデルを学ぶことができるニューラルネットワークを記述する。
  論文  参考訳（メタデータ） (2022-05-24T21:32:52Z)
• EdiBERT, a generative model for image editing [12.605607949417033]
  EdiBERTは、ベクトル量子化オートエンコーダによって構築された離散潜在空間で訓練された双方向変換器である。 結果のモデルが,多種多様なタスクにおける最先端のパフォーマンスと一致することを示す。
  論文  参考訳（メタデータ） (2021-11-30T10:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。