論文の概要: UniSpace: Unified Visual Representation and Scalable Multimodal Modeling

• arxiv url: http://arxiv.org/abs/2608.08676v1
• Date: Sun, 09 Aug 2026 12:46:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.913814
• Title: UniSpace: Unified Visual Representation and Scalable Multimodal Modeling
• Title（参考訳）: UniSpace: 統一されたビジュアル表現とスケーラブルなマルチモーダルモデリング
• Abstract要約: 事前学習されたセマンティックViTから構築された単一の視覚的表現空間において、理解、生成、編集がモデル化可能であるかを検討する。 emphPatch Reパラメータ化を導入し、リコンストラクション対応パッチの埋め込みを追加しながら、元のセマンティックパスを保存する。 その結果得られた統一表現は、高忠実度画像再構成と好適な再構成世代トレードオフを実現しつつ、マルチモーダル理解を保存する。
• 参考スコア（独自算出の注目度）: 38.3945115074626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic vision encoders have become a central visual interface for multimodal understanding and semantic conditioning in image generation. However, their final tokens discard fine-grained visual details, leading to poor pixel reconstruction and limiting their use in reconstruction-sensitive tasks such as image generation and editing. In this work, we ask whether understanding, generation, and editing can be modeled in a single visual representation space built from a pretrained semantic ViT. We show that the frozen Transformer blocks of a semantic ViT are not intrinsically unable to preserve visual details. Instead, the original patch parameterization drives the representation toward semantic abstraction, making fine-grained information difficult to recover from the final tokens. Based on this observation, we introduce \emph{Patch Reparameterization}, which preserves the original semantic pathway while adding a reconstruction-aware patch embedding that provides fine-grained visual information to the same frozen ViT blocks. The resulting unified representation preserves multimodal understanding while enabling high-fidelity image reconstruction and a favorable reconstruction--generation trade-off. We further scale this representation into \emph{UniSpace}, an 8B Mixture-of-Transformer-Experts model that performs understanding, generation, and editing in the same visual space without a separate VAE pathway. System-level evaluations demonstrate practical text-to-image generation and instruction-based image editing, showing that a reparameterized pretrained ViT can serve as a unified visual interface for scalable multimodal modeling.
• Abstract（参考訳）: セマンティック・ビジョン・エンコーダは画像生成におけるマルチモーダル理解とセマンティック・コンディショニングのための中心的な視覚インタフェースとなっている。 しかし、最終的なトークンはきめ細かい視覚的詳細を捨て、ピクセル再構成が貧弱になり、画像生成や編集といった再構成に敏感なタスクでの使用が制限される。 本研究では,事前学習されたセマンティックViTから構築された単一の視覚的表現空間において,理解,生成,編集をモデル化できるかどうかを問う。 意味的ViTの凍結されたトランスフォーマーブロックは、本質的に視覚的詳細を保存できないことを示す。 代わりに、元々のパッチパラメータ化はセマンティック抽象化への表現を駆動し、最終的なトークンから取り出すのが難しくなる。 この観察に基づいて,同じ凍結したViTブロックに微細な視覚情報を提供する再構成対応パッチを埋め込みながら,元のセマンティックパスを保存した \emph{Patch Reparameterization} を導入する。 その結果得られた統一表現は、高忠実度画像再構成と好適な再構成世代トレードオフを実現しつつ、マルチモーダル理解を保存する。 さらに、この表現を、別々のVAE経路を使わずに同じ視覚空間で理解、生成、編集を行う8B Mixture-of-Transformer-Expertsモデルである \emph{UniSpace} に拡張する。 システムレベルの評価では、実用的なテキスト・ツー・イメージ生成と命令ベースの画像編集が示され、再パラメータ化された事前訓練されたViTが、スケーラブルなマルチモーダル・モデリングのための統一されたビジュアル・インタフェースとして機能することを示す。

関連論文リスト

• VoT: Vision-of-Thought for Unified Multimodal Representation Alignment [38.89764677562606]
  Vision-of-Thought(VoT)は、視覚言語モデル(VLM)と拡散トランスフォーマー(DiT)の間に離散的な視覚的思考層を導入するフレームワークである。 VoTは、ピクセルをレンダリングする前に、オブジェクトやレイアウトなどの高レベルなビジュアルプランを表す個別のVoTトークンを生成する。 VLMのセマンティック空間において、VLMアライメント、特徴再構成、ベクトル量子化損失を組み合わせた閉ループ目的の特別なVoTトークンライザを訓練する。
  論文  参考訳（メタデータ） (2026-09-07T17:53:13Z)
• Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment [20.811984469709508]
  Auraは、高忠実でアイデンティティに一貫性のあるビデオ生成のための統一されたフレームワークである。 本稿では,映像コンテンツの密度と構造を記述したAIディレクターレベルのキャプションを紹介する。 専用データ構築パイプラインを通じて高品質なビデオオブジェクト画像データセットを構築する。
  論文  参考訳（メタデータ） (2026-07-05T13:54:33Z)
• Imagine Before You Draw: Visual Prompt Engineering for Image Generation [67.81347924426714]
  内部フレームワークにシームレスに統合可能なVisual Prompt Engineering (VPE)を提案する。 我々は,クラス条件生成,テキスト・ツー・イメージ生成,画像編集にまたがってVPEを検証する。 その結果, VPEはコンバージェンスを加速し, 天井の質を高め, 内部統合により, 編集保存性を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2026-06-03T05:01:36Z)
• UniCustom: Unified Visual Conditioning for Multi-Reference Image Generation [65.53694602893042]
  VLMエンコーディングの前にVTとVAE機能を融合した統合ビジュアルコンディショニングフレームワークを提案する。 2つのマルチ参照生成ベンチマークの実験により、UniCustomは主題の一貫性、命令従順、構成の忠実さを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-12T13:10:05Z)
• Self-Corrected Image Generation with Explainable Latent Rewards [55.29175717238288]
  我々は、説明可能なLatent RewarDを通じて生成をガイドする自己修正フレームワークであるxLARDを提案する。 xLARDは、モデル生成参照からの構造化されたフィードバックに基づいて遅延表現を洗練する軽量な修正器を導入している。 実験により、xLARDは、生成前の状態を維持しながら、意味的アライメントと視覚的忠実性を改善することが示された。
  論文  参考訳（メタデータ） (2026-03-26T02:59:35Z)
• Splicing ViT Features for Semantic Appearance Transfer [10.295754142142686]
  本稿では,ある自然画像の視覚的外観を別の自然画像に意味的に伝達する手法を提案する。 具体的には、ソース構造画像中のオブジェクトを、ターゲットの外観画像中のそれらの意味的関連オブジェクトの視覚的外観で“ペイント”する画像を生成する。
  論文  参考訳（メタデータ） (2022-01-02T22:00:34Z)
• Intriguing Properties of Vision Transformers [114.28522466830374]
  視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。 我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。 ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
  論文  参考訳（メタデータ） (2021-05-21T17:59:18Z)
• Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
  我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。 我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
  論文  参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。