論文の概要: UniMore: Fine-Grained Supervision for Unified Understanding and Generation
- arxiv url: http://arxiv.org/abs/2611.08996v1
- Date: Fri, 06 Nov 2026 05:11:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 22:29:06.802074
- Title: UniMore: Fine-Grained Supervision for Unified Understanding and Generation
- Title(参考訳): UniMore: 統一理解と生成のためのファイングラインドスーパービジョン
- Abstract要約: 統一マルチモーダルモデルは、1つのシステム内で画像の理解と生成を結合する。
画像テキストペアの微細な内容からこれらの相補的学習タスクを導出するUniMoreを提案する。
実験では、複数の理解と生成のベンチマークで利益が得られます。
- 参考スコア(独自算出の注目度): 46.65767129178851
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unified multimodal models combine image understanding and generation within one system, creating an opportunity to improve both capabilities through paired image--text supervision. We examine the outputs of a pretrained unified model in both directions and observe a loss of specificity: generated images can contain the requested objects with incorrect attributes, while captions identify a scene without expressing its distinguishing details. These failures call for supervision that specifies both the visual content to realize and the descriptive differences to distinguish. We propose UniMore, a post-training method that derives these complementary learning tasks from the fine-grained content of image--text pairs. The generation route predicts grounded crops from their corresponding phrases, matching the scope of the condition and visual target while using the native visual objective. The understanding route combines positive-caption fitting with ranking against captions that omit or alter details, conditioned on the full image. The two routes are optimized independently, and their learned updates are combined into a single unified model without changing its inference procedure. Experiments show gains across multiple understanding and generation benchmarks.
- Abstract(参考訳): 統一マルチモーダルモデルは、一つのシステム内での画像理解と生成を組み合わせることで、ペア化されたイメージ・テキスト・インスペクションを通じて両方の能力を改善する機会を生み出す。
生成した画像は、要求されたオブジェクトを誤った属性で含むことができ、キャプションは、その区別された詳細を表現せずにシーンを識別する。
これらの失敗は、実現すべき視覚的内容と区別すべき記述的差異の両方を規定する監督を要求する。
画像テキストペアの微細な内容からこれらの相補的学習タスクを導出するポストトレーニング手法UniMoreを提案する。
生成経路は、その対応するフレーズから接地作物を予測し、ネイティブな視覚的目標を用いて条件と視覚的目標の範囲を一致させる。
理解経路は、全画像に条件付けされた細部を省略または変更したキャプションに対する正の字幕フィッティングとの組み合わせである。
2つのルートは独立して最適化され、学習された更新は推論手順を変更することなく単一の統一モデルにまとめられる。
実験では、複数の理解と生成のベンチマークで利益が得られます。
関連論文リスト
- MoETok: Sparse Expert Routing for 1D Visual Tokenizers [52.30634907797462]
MoETokは1Dビジュアルトークンライザで、トークンをわずかにアクティベートされた専門家を通してルーティングする。
ImageNetでは、強力な再構成とセマンティック表現と最先端のクラス条件生成を組み合わせる。
論文 参考訳(メタデータ) (2026-10-30T16:37:55Z) - Dreaming in Flow: Generative Grounding Feedback for Self-Evolving Unified Multimodal Models [55.231245660246934]
統一マルチモーダルモデルは、視覚的理解と生成を単一のネットワークに統合するが、2つの機能は一般的に別々のタスクとして最適化される。
我々は,テキストプロンプトとモデル自身の視覚的体験のみを使用する自己進化型ポストトレーニングフレームワークである生成的グラウンド・フィードバックを紹介する。
論文 参考訳(メタデータ) (2026-09-08T05:52:53Z) - InstructionCrafter: Generating Consistent and High-Fidelity Visual Instructions [6.198298884034955]
既存のテキスト画像生成アプローチは、ステップ忠実性、クロスイメージ一貫性、フレーム単位の視覚的品質を満たすことは滅多にない。
InstructionCrafterは、時間的および命令的アライメントの最適化を分離する鍵となるアイデアを持つ拡散ベースのフレームワークである。
私たちのコードとトレーニングされたモデルは公開されます。
論文 参考訳(メタデータ) (2026-08-09T04:01:21Z) - Towards Generalized Multi-Image Editing for Unified Multimodal Models [56.620038824933566]
統一マルチモーダルモデル(UMM)は、マルチモーダル理解と生成を統合する。
UMMは、複数の入力画像にまたがる詳細を参照する場合、視覚的一貫性の維持と視覚的手がかりの曖昧さに制限される。
画像の同一性を明確に識別し、可変入力数に一般化するUMMのためのスケーラブルなマルチイメージ編集フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-09T06:42:49Z) - UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation [51.31795451147935]
本稿では,単一のピクセル間拡散フレームワーク内での視覚的理解と視覚的生成を支援する統合生成モデルを提案する。
私たちのゴールは、モデル、タスク、表現の3つの軸に沿った統一を達成することです。
画像間合成と画像間理解の実験は、強いモーダルアライメントを示す。
論文 参考訳(メタデータ) (2025-11-21T03:02:10Z) - Dual-Level Cross-Modal Contrastive Clustering [4.083185193413678]
我々はDXMC(Dual-level Cross-Modal Contrastive Clustering)という画像クラスタリングフラムワークを提案する。
画像とテキストのペアを生成するために使用される意味空間を構築するために、外部テキスト情報が導入される。
予め訓練された画像とテキストエンコーダに画像とテキストのペアをそれぞれ送信し、4つのよく設計されたネットワークに次々に供給される画像とテキストの埋め込みを得る。
論文 参考訳(メタデータ) (2024-09-06T18:49:45Z) - Improving Generation and Evaluation of Visual Stories via Semantic
Consistency [72.00815192668193]
一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。
それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。
従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
論文 参考訳(メタデータ) (2021-05-20T20:42:42Z) - Connecting What to Say With Where to Look by Modeling Human Attention
Traces [30.8226861256742]
画像,テキスト,人間の注意跡を共同でモデル化する統合フレームワークを提案する。
本研究では,(1)画像とキャプション(視覚的接地)に与えられたトレースを予測し,(2)画像のみに与えられるキャプションとトレースを予測する2つの新しいタスクを提案する。
論文 参考訳(メタデータ) (2021-05-12T20:53:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。