論文の概要: JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces

• arxiv url: http://arxiv.org/abs/2610.28801v1
• Date: Tue, 20 Oct 2026 18:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.12124
• Title: JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces
• Title（参考訳）: JUICE:事前制約された表現空間における統一マルチモーダルモデリング
• Abstract要約: ほとんどの統一されたマルチモーダルモデルは、画像とテキストを非対称に扱う。 どちらのモダリティも、スクラッチから共同でトレーニングされた1つのプロセスによって生成できるかどうかを問う。 事前訓練されたエンコーダ空間は、両方のモダリティを1つの連続的な形で保持し、大規模に学んだ知識を運ぶ。 JUICE(Joint Unified Multimodal Modeling In Continuous space)は,凍結画像上の単一フローマッチングトランスフォーマーである。
• 参考スコア（独自算出の注目度）: 70.74654248570178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most unified multimodal models treat images and text asymmetrically: a pretrained language model generates text, an attached diffusion head generates images, and outputs that contain both are produced in a fixed order, so the first output cannot adapt to the second. We ask whether both modalities can instead be generated by one process that is trained on them jointly from scratch. Pretrained encoder spaces hold both modalities in one continuous form and carry knowledge learned at scale, and recent work finds them effective as generative targets for vision and language. We therefore model the joint distribution directly in these spaces. We introduce JUICE (Joint Unified multimodal modeling In Continuous Encoder spaces), a single flow matching Transformer over frozen image and text representations, in which each modality has its own noise level. Which modalities are clean and which are generated then decides the task: image generation, captioning, visual question answering, or joint generation. Controlled pretraining runs test each design choice. At equal guidance, generating text as continuous states leaves image generation intact (48.41 GenEval, against 47.86 for a model trained only for text-to-image generation), while captions lose some exact wording. Training on joint and conditional denoising together beats either alone, and semantic encoder spaces beat VAE latents and raw pixels as targets. At 2.1B parameters, with no language model initialization and at 224x224, JUICE reaches up to 0.88 on GenEval and 73.1 on VQAv2. By sampling both modalities from the joint distribution (coupled sampling), it can also draw a route on a map while writing out the matching moves. On mazes with several valid solutions, joint success rises from 54.6% with independent sampling to 93.7%, and no modality has to go first. On visual spatial planning, JUICE solves 99.8% of maps at its training sizes.
• Abstract（参考訳）: ほとんどの統合マルチモーダルモデルは、画像とテキストを非対称に扱う:事前訓練された言語モデルがテキストを生成し、付加された拡散ヘッドが画像を生成し、両方を含む出力が固定順序で生成されるので、第1の出力は第2の出力に適応できない。 どちらのモダリティも、スクラッチから共同でトレーニングされた1つのプロセスによって生成できるかどうかを問う。 事前訓練されたエンコーダ空間は、一つの連続的な形態で両方のモダリティを保持し、大規模に学習された知識を伝達する。 したがって、これらの空間において結合分布を直接モデル化する。 本稿では,JUICE(Joint Unified Multimodal Modeling In Continuous Encoder space)を紹介した。 どのモダリティがクリーンで、どのモダリティが生成されるかは、画像生成、キャプション、視覚的質問応答、共同生成といったタスクを決定する。 制御された事前訓練は、それぞれの設計選択をテストする。 同等のガイダンスでは、連続状態としてテキストを生成することは画像生成をそのままにする(48.41 GenEval、テキストから画像生成にのみ訓練されたモデルでは47.86)。 ジョイント・コンディショナル・デノベーションのトレーニングは単独で行われ、セマンティック・エンコーダ・スペースはVAEラテントや生のピクセルを目標として打ち負かした。 2.1B のパラメータでは、言語モデルの初期化がなく、224x224 では、JUICE は GenEval では 0.88 、VQAv2 では 73.1 に達する。 結合分布から両方のモダリティをサンプリングすることで(結合サンプリング)、マッチング動作を書きながら地図上にルートを描画することもできる。 いくつかの有効な解を持つ迷路では、共同成功は54.6%まで上昇し、独立したサンプリングは93.7%まで上昇し、モダリティは先に進む必要はない。 視覚空間計画では、JUICEはその訓練規模で99.8%の地図を解決している。

関連論文リスト

• End-to-End Training for Unified Tokenization and Latent Denoising [82.91537591286554]
  統一トークン化と潜伏拡散のためのオートエンコーダアーキテクチャUNITEを提案する。 UNITEは、画像トークン化器と重量共有による潜伏ジェネレータの両方として機能するジェネレータで構成されている。 トークン化とスクラッチ生成の単一段階共同訓練が実現可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-23T17:59:49Z)
• UniCMs: A Unified Consistency Model For Efficient Multimodal Generation and Understanding [12.34529497235534]
  一貫性モデル(CM)は、画像とテキストの両方を効率的に生成する可能性を示している。 主な課題は、画像生成とテキスト生成の両方に統一された認知的視点を確立することである。 テキスト・画像生成では、UniCMはGenEval、Image Reward、CLIPスコアでSD3を上回っている。 画像からテキスト生成では、UniCMはMMMUベンチマークのShow-oを上回り、ロングシーケンス生成速度では1.5倍高速である。
  論文  参考訳（メタデータ） (2025-02-08T02:52:25Z)
• Origin Identification for Text-Guided Image-to-Image Diffusion Models [39.234894330025114]
  テキスト誘導画像と画像の拡散モデル(ID$2$)の原点識別を提案する。 ID$2$の直接的な解決策は、クエリと参照イメージの両方から機能を抽出し比較するために、特別なディープ埋め込みモデルをトレーニングすることである。 提案したID$2$タスクのこの課題を解決するために,最初のデータセットと理論的に保証されたメソッドをコントリビュートする。
  論文  参考訳（メタデータ） (2025-01-04T20:34:53Z)
• One Diffusion to Generate Them All [54.82732533013014]
  OneDiffusionは双方向画像合成と理解をサポートする汎用的で大規模な拡散モデルである。 テキスト、深さ、ポーズ、レイアウト、セマンティックマップなどの入力から条件生成を可能にする。 OneDiffusionは、シーケンシャルな画像入力を使用して、マルチビュー生成、カメラポーズ推定、即時パーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-11-25T12:11:05Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。