論文の概要: OSPO: Object-centric Self-improving Preference Optimization for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2506.02015v2
• Date: Fri, 19 Sep 2025 02:44:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 14:11:07.08185
• Title: OSPO: Object-centric Self-improving Preference Optimization for Text-to-Image Generation
• Title（参考訳）: OSPO:テキスト・ツー・イメージ生成のためのオブジェクト中心の自己改善型優先最適化
• Authors: Yoonjin Oh, Yongjin Kim, Hyomin Kim, Donghwan Chi, Sungwoong Kim,
• Abstract要約: Object-centric Self-Iproving Preference Optimization (OSPO)は、オブジェクトレベルのテキストイメージアライメントを強化するための自己改善フレームワークである。 OSPOはテキスト・画像生成における微粒化アライメントを大幅に改善する。
• 参考スコア（独自算出の注目度）: 9.584960092259033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Multimodal Large Language Models (MLLMs) have enabled models to perform both understanding and generation of multimodal data in a unified manner. However, achieving a fine-grained alignment between input prompts and generated images remains a major challenge especially in text-to-image generation. Therefore, recent works have introduced self-improving mechanisms based on self-generated data and self-feedback to efficiently mitigate this challenge without relying on external large-scale data or models. However, existing self-improving approaches have not focused on fine-grained visual details especially at the object level in generating training data or providing a feedback, and thus they still struggle to resolve the object hallucination problem in text-to-image generation. To tackle this problem, we propose an Object-centric Self-improving Preference Optimization (OSPO), a self-improving framework for enhancing object-level text-image alignment. OSPO is designed to explicitly address the need for constructing and leveraging object-level hard negative data and an object-centric optimization in improving object-specific fidelity. In specific, OSPO consists of: (1) Initial Prompt Generation (2) Hard Preference Pair Generation (3) Filtering and Selection (4) Object-centric Preference Optimization with Conditional Preference Loss. Extensive experiments on compositional image generation benchmarks demonstrate that OSPO significantly improves fine-grained alignment in text-to-image generation, surpassing not only prior self-improving methods but also diffusion-based specialized image generation models.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の最近の進歩により、モデルは統一された方法でマルチモーダルデータの理解と生成を両立できるようになった。 しかし、入力プロンプトと生成された画像との微妙なアライメントを実現することは、特にテキスト・画像生成において大きな課題である。 そのため、最近の研究は、外部の大規模データやモデルに頼ることなく、この課題を効果的に軽減するために、自己生成データと自己フィードバックに基づく自己改善メカニズムを導入している。 しかし、既存の自己改善アプローチは、特に訓練データの生成やフィードバックの提供において、オブジェクトレベルでの細かい視覚的詳細に焦点を当てておらず、テキスト・画像生成におけるオブジェクト幻覚の解決に苦慮している。 この問題に対処するために,オブジェクトレベルのテキストイメージアライメントを強化する自己改善フレームワークである,オブジェクト指向自己改善優先最適化(OSPO)を提案する。 OSPOは、オブジェクトレベルのハードネガティブなデータの構築と活用の必要性と、オブジェクト固有の忠実性を改善するためのオブジェクト中心の最適化に明示的に対処するために設計されている。 1)初期プロンプト生成(2)ハードプライスペア生成(3)フィルタリングと選択(4)条件付き優先度損失によるオブジェクト中心の優先度最適化。 コンポジション画像生成ベンチマークの大規模な実験により、OSPOは従来の自己改善手法だけでなく、拡散に基づく特殊画像生成モデルを上回る、テキスト・画像生成における微粒化アライメントを著しく改善することが示された。

関連論文リスト

• Zooming from Context to Cue: Hierarchical Preference Optimization for Multi-Image MLLMs [74.74767980885758]
  マルチレベル優先最適化フレームワークであるContext-to-Cue Direct Preference Optimization (CcDPO)を提案する。 CcDPOは、シーケンシャルなコンテキストからローカルな詳細まで、視覚的なヒントをズームすることで、マルチイメージ設定でのイメージ単位の知覚を強化する。 実験により、CcDPOは幻覚を著しく減少させ、一貫した性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-05-28T14:24:02Z)
• AdaViP: Aligning Multi-modal LLMs via Adaptive Vision-enhanced Preference Optimization [26.03204301595711]
  本稿では,2つの重要なイノベーションを通じて制限に対処する適応型視覚強調最適化(AdaViP)を提案する。 視覚に基づく選好ペア構築は、複数の視覚基盤モデルを統合し、画像から重要な視覚要素を戦略的に除去する。 AdaViP-7Bは、Object HalBench上でそれぞれ応答レベルと言及レベルの幻覚を93.7%、96.4%減少させる。
  論文  参考訳（メタデータ） (2025-04-22T06:19:38Z)
• Marmot: Multi-Agent Reasoning for Multi-Object Self-Correcting in Improving Image-Text Alignment [55.74860093731475]
  Marmotは、マルチオブジェクトの自己修正にマルチエージェント推論を採用する新しいフレームワークである。 我々は,意思決定検証機構を備えたマルチエージェント自己修正システムを構築した。 実験により、Marmotはオブジェクトのカウント、属性割り当て、空間的関係において精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-04-10T16:54:28Z)
• Re-Align: Aligning Vision Language Models via Retrieval-Augmented Direct Preference Optimization [18.855378039713678]
  大規模視覚言語モデル(VLM)は、特に横断的不整合の形で、重要な幻覚を引き起こす傾向がある。 本稿では、画像検索を利用した新しいアライメントフレームワークRe-Alignを紹介する。 我々はまた、微調整中に視覚的嗜好を付加する、標準の直接選好最適化の拡張であるrDPOも導入する。
  論文  参考訳（メタデータ） (2025-02-18T18:59:57Z)
• CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs [107.21334626890713]
  MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。 本稿では,これらの制約に対処するクロスモーダル階層型直接選好最適化(CHiP)を提案する。 定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。
  論文  参考訳（メタデータ） (2025-01-28T02:05:38Z)
• MIA-DPO: Multi-Image Augmented Direct Preference Optimization For Large Vision-Language Models [85.30735602813093]
  Multi-Image Augmented Direct Preference Optimization (MIA-DPO)は、マルチイメージ入力を効果的に処理する視覚的嗜好アライメントアプローチである。 MIA-DPOは、グリッドコラージュやピクチャ・イン・ピクチャ形式で配置された無関係な画像で単一の画像データを拡張することにより、多様なマルチイメージトレーニングデータの不足を軽減する。
  論文  参考訳（メタデータ） (2024-10-23T07:56:48Z)
• Modality-Fair Preference Optimization for Trustworthy MLLM Alignment [11.796170286878056]
  直接選好最適化(DPO)は,大規模言語モデル(LLM)の整合に有効である しばしば画像情報よりもテキストを好んでおり、信頼できない出力や視覚幻覚をもたらす。 テキストと画像の嗜好のバランスをとるために,MFPO(Modality-Fair Preference Optimization)を提案する。
  論文  参考訳（メタデータ） (2024-10-20T08:56:52Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
  OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。 本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。 提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-06-14T13:16:18Z)
• Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
  大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。 既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。 本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
  論文  参考訳（メタデータ） (2024-05-24T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。