論文の概要: MENTOR: Efficient Multimodal-Conditioned Tuning for Autoregressive Vision Generation Models

• arxiv url: http://arxiv.org/abs/2507.09574v1
• Date: Sun, 13 Jul 2025 10:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:23.556309
• Title: MENTOR: Efficient Multimodal-Conditioned Tuning for Autoregressive Vision Generation Models
• Title（参考訳）: mentOR: 自己回帰視覚生成モデルのための効率的なマルチモーダル・コンディション・チューニング
• Authors: Haozhe Zhao, Zefan Cai, Shuzheng Si, Liang Chen, Jiuxiang Gu, Wen Xiao, Junjie Hu,
• Abstract要約: 最近のテキスト・ツー・イメージモデルは、正確な視覚制御、マルチモーダル入力のバランス、複雑な画像生成のための広範な訓練を必要とする。 自己回帰型マルチモーダル画像生成のための効率的なマルチモーダルコンディショニングのための新しいフレームワークであるMENTORを提案する。 本手法は,拡散法に比べて画像再構成精度,タスク適応性,トレーニング効率の向上を実現している。
• 参考スコア（独自算出の注目度）: 30.494968865008513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent text-to-image models produce high-quality results but still struggle with precise visual control, balancing multimodal inputs, and requiring extensive training for complex multimodal image generation. To address these limitations, we propose MENTOR, a novel autoregressive (AR) framework for efficient Multimodal-conditioned Tuning for Autoregressive multimodal image generation. MENTOR combines an AR image generator with a two-stage training paradigm, enabling fine-grained, token-level alignment between multimodal inputs and image outputs without relying on auxiliary adapters or cross-attention modules. The two-stage training consists of: (1) a multimodal alignment stage that establishes robust pixel- and semantic-level alignment, followed by (2) a multimodal instruction tuning stage that balances the integration of multimodal inputs and enhances generation controllability. Despite modest model size, suboptimal base components, and limited training resources, MENTOR achieves strong performance on the DreamBench++ benchmark, outperforming competitive baselines in concept preservation and prompt following. Additionally, our method delivers superior image reconstruction fidelity, broad task adaptability, and improved training efficiency compared to diffusion-based methods. Dataset, code, and models are available at: https://github.com/HaozheZhao/MENTOR
• Abstract（参考訳）: 最近のテキスト・ツー・イメージモデルでは、高品質な結果が得られるが、正確な視覚制御、マルチモーダル入力のバランス、複雑なマルチモーダル画像生成のための広範囲なトレーニングに苦慮している。 これらの制約に対処するために,自動回帰画像生成のための効率的なマルチモーダル条件調整のための新しい自己回帰(AR)フレームワークであるMENTORを提案する。 MENTORはARイメージジェネレータと2段階のトレーニングパラダイムを組み合わせることで、補助アダプタやクロスアテンションモジュールに頼ることなく、マルチモーダル入力と画像出力間のきめ細かいトークンレベルのアライメントを可能にする。 2段階の訓練は,(1)ロバストなピクセルレベルのアライメントと意味レベルのアライメントを確立するマルチモーダルアライメントステージ,(2)マルチモーダル入力の統合のバランスを保ち,生成制御性を高めるマルチモーダルインストラクションチューニングステージから構成される。 モデルのサイズは控えめで、最適でないベースコンポーネント、限られたトレーニングリソースにもかかわらず、MENTORはDreamBench++ベンチマークで強力なパフォーマンスを達成し、コンセプト保存における競争上のベースラインよりも優れており、後続のプロンプトも優れている。 さらに, 画像再構成の精度, タスク適応性, 拡散法に比べて訓練効率が向上した。 データセット、コード、モデルは、https://github.com/HaozheZhao/MENTOR.comで入手できる。

関連論文リスト

• LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer [32.9330637921386]
  LAMICはレイアウト対応のマルチイメージコンポジションフレームワークである。 単一の参照拡散モデルをトレーニング不要な方法でマルチ参照シナリオに拡張する。 ID-S、BG-S、IN-R、AVGのスコアにおいて、既存のマルチ参照ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-01T09:51:54Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Policy Optimized Text-to-Image Pipeline Design [72.87655664038617]
  本稿では,テキスト・ツー・イメージ生成のための新しい強化学習フレームワークを提案する。 提案手法は、まず、画像品質のスコアをインタプリタ-ワークフローの組み合わせから直接予測できる報奨モデルのアンサンブルを訓練する。 次に、最初の語彙学習とGRPOに基づく最適化という2段階のトレーニング戦略を実装した。
  論文  参考訳（メタデータ） (2025-05-27T17:50:47Z)
• Mogao: An Omni Foundation Model for Interleaved Multi-Modal Generation [54.588082888166504]
  我々は、因果アプローチを通じてインターリーブされたマルチモーダル生成を可能にする統一的なフレームワークであるMogaoを提案する。 Mogooは、Deep-fusion設計、デュアルビジョンエンコーダ、インターリーブされた回転位置埋め込み、マルチモーダル分類器フリーガイダンスなど、アーキテクチャ設計における重要な技術的改善のセットを統合している。 実験により,モガオはマルチモーダル理解とテキスト・ツー・イメージ生成において最先端の性能を発揮するとともに,高品質でコヒーレントなインターリーブ・アウトプットの創出にも優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-08T17:58:57Z)
• MMGen: Unified Multi-modal Image Generation and Understanding in One Go [60.97155790727879]
  本稿では,複数の生成タスクを単一の拡散モデルに統合する統合フレームワークMMGenを紹介する。 提案手法は,マルチモーダル出力を柔軟にサポートし,単純なモーダルデカップリング戦略とともに,新しい拡散トランスフォーマを開発する。
  論文  参考訳（メタデータ） (2025-03-26T15:37:17Z)
• Multimodal Autoregressive Pre-training of Large Vision Encoders [85.39154488397931]
  本稿では,汎用視覚エンコーダのファミリーであるAIMV2について述べる。 エンコーダはマルチモーダル評価だけでなく,ローカライゼーションやグラウンド,分類といったビジョンベンチマークでも優れている。
  論文  参考訳（メタデータ） (2024-11-21T18:31:25Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Improving Cross-modal Alignment for Text-Guided Image Inpainting [36.1319565907582]
  テキスト誘導画像塗装(TGII)は、損傷した画像中の与えられたテキストに基づいて、行方不明領域を復元することを目的としている。 クロスモーダルアライメントを改善することで,TGIIの新たなモデルを提案する。 我々のモデルは、他の強力な競合相手と比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-01-26T19:18:27Z)
• Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis [52.41439725865149]
  クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。 既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。 マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T11:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。