論文の概要: Proxy-Tuning: Tailoring Multimodal Autoregressive Models for Subject-Driven Image Generation

• arxiv url: http://arxiv.org/abs/2503.10125v1
• Date: Thu, 13 Mar 2025 07:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:27.876600
• Title: Proxy-Tuning: Tailoring Multimodal Autoregressive Models for Subject-Driven Image Generation
• Title（参考訳）: Proxy-Tuning:主観駆動画像生成のためのマルチモーダル自己回帰モデルの作成
• Authors: Yi Wu, Lingting Zhu, Lei Liu, Wandi Qiao, Ziqiang Li, Lequan Yu, Bin Li,
• Abstract要約: 本稿では、拡散モデルを利用して、被写体固有の画像生成におけるARモデルの能力を向上するProxy-Tuningを紹介する。 微調整ARモデルは、被写体忠実度と即効性の両方において、拡散モデルスーパーバイザを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 24.67443650398078
• License:
• Abstract: Multimodal autoregressive (AR) models, based on next-token prediction and transformer architecture, have demonstrated remarkable capabilities in various multimodal tasks including text-to-image (T2I) generation. Despite their strong performance in general T2I tasks, our research reveals that these models initially struggle with subject-driven image generation compared to dominant diffusion models. To address this limitation, we introduce Proxy-Tuning, leveraging diffusion models to enhance AR models' capabilities in subject-specific image generation. Our method reveals a striking weak-to-strong phenomenon: fine-tuned AR models consistently outperform their diffusion model supervisors in both subject fidelity and prompt adherence. We analyze this performance shift and identify scenarios where AR models excel, particularly in multi-subject compositions and contextual understanding. This work not only demonstrates impressive results in subject-driven AR image generation, but also unveils the potential of weak-to-strong generalization in the image generation domain, contributing to a deeper understanding of different architectures' strengths and limitations.
• Abstract（参考訳）: マルチモーダル自己回帰(AR)モデルは,テキスト・ツー・イメージ(T2I)生成を含む様々なマルチモーダルタスクにおいて顕著な機能を示した。 一般的なT2Iタスクの性能は高いが,本研究では,これらのモデルが主に拡散モデルに比べて主観的画像生成に苦慮していることを明らかにする。 この制限に対処するために,拡散モデルを活用するProxy-Tuningを導入し,被写体固有の画像生成におけるARモデルの能力を向上する。 微調整ARモデルは、被写体忠実度と即効性の両方において、拡散モデルスーパーバイザを一貫して上回っている。 我々は、この性能変化を分析し、特に多目的合成や文脈理解においてARモデルが優れているシナリオを特定する。 この研究は、被写体駆動AR画像生成における印象的な結果を実証するだけでなく、画像生成領域における弱いから強い一般化の可能性も明らかにし、異なるアーキテクチャの強みと限界のより深い理解に寄与する。

関連論文リスト

• Direct Ascent Synthesis: Revealing Hidden Generative Capabilities in Discriminative Models [6.501811946908292]
  判別モデルは本質的に強力な生成能力を含むことを示す。 我々の手法であるDirect Ascent Synthesisは、これらの潜伏能力を明らかにする。 DASは複数の空間スケールで最適化を分解することで高品質な画像合成を実現する。
  論文  参考訳（メタデータ） (2025-02-11T18:27:27Z)
• Dual Diffusion for Unified Image Generation and Understanding [32.7554623473768]
  マルチモーダル理解と生成のための大規模かつ完全なエンドツーエンド拡散モデルを提案する。 我々は、画像とテキストの条件付き確率を同時にトレーニングするクロスモーダル最大推定フレームワークを活用する。 我々のモデルは、最近の統合画像理解・生成モデルと比較して、競争性能が向上した。
  論文  参考訳（メタデータ） (2024-12-31T05:49:00Z)
• Multi-Modal Generative AI: Multi-modal LLM, Diffusion and Beyond [48.43910061720815]
  マルチモーダル生成AIは、学術と産業の両方で注目を集めている。 理解と生成の両方に統一されたモデルを持つことは可能か?
  論文  参考訳（メタデータ） (2024-09-23T13:16:09Z)
• Diffusion Models For Multi-Modal Generative Modeling [32.61765315067488]
  本稿では,共通拡散空間における統一多モード拡散モデルを構築することにより,拡散モデルを定義するための原理的手法を提案する。 本稿では,画像遷移,マスクイメージトレーニング,共同画像ラベル,共同画像表現生成モデリングなどのフレームワークを検証するために,複数のマルチモーダル生成設定を提案する。
  論文  参考訳（メタデータ） (2024-07-24T18:04:17Z)
• SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation [61.392147185793476]
  統一的で汎用的な基礎モデル、すなわちSEED-Xを提案する。 SEED-Xは、理解および生成タスクのための多粒度視覚意味論をモデル化することができる。 我々の研究が、現実世界のアプリケーションで多目的なマルチモーダル基盤モデルによって達成できるものについて、将来の研究に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2024-04-22T17:56:09Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Multiscale Generative Models: Improving Performance of a Generative Model Using Feedback from Other Dependent Generative Models [10.053377705165786]
  実世界の相互作用を反映した相互作用生成モデル(GAN)の構築に向けた第一歩を踏み出す。 我々は,複数の低レベル GAN の出力に高レベル GAN を条件付けした階層的なセットアップを構築し,解析する。 本稿では,より高レベルなGANからのフィードバックを用いて,低レベルなGANの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-01-24T13:05:56Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。