論文の概要: PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation

• arxiv url: http://arxiv.org/abs/2609.38597v1
• Date: Tue, 29 Sep 2026 21:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.777622
• Title: PixelUMM: Encoder-Free Unified Image and Video Understanding and Generation
• Title（参考訳）: PixelUMM:エンコーダフリーの統一イメージとビデオ理解と生成
• Abstract要約: Unified Multimodal Models (UMM) はしばしば理解と生成のために別々の視覚表現に依存している。 ピクセル空間モデリングの最近の進歩はエンコーダのない代替手段を提供するが、このパラダイムを画像からビデオに拡張することは簡単ではない。 画像の統一化と画像の理解と生成をピクセル空間で直接行うためのエンコーダフリーモデルであるPixelUMMを提案する。
• 参考スコア（独自算出の注目度）: 105.56593281845038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified Multimodal Models (UMMs) often rely on separate visual representations for understanding and generation, increasing visual context length and complicating integration with established vision-language pretraining pipelines. Recent advances in pixel-space modeling offer an encoder-free alternative, but extending this paradigm from images to videos is non-trivial: video understanding and generation adopt different temporal representations, leaving the design of a unified visual interface an open question. We present PixelUMM, an encoder-free model for unified image and video understanding and generation directly in pixel space. PixelUMM represents images as spatial patches and videos as spatiotemporal tubelets, connecting raw pixels to a shared multimodal backbone through single-layer linear projections. Its Mixture-of-Transformers architecture combines shared attention with task-specific parameters and extends clean-pixel prediction to video generation, jointly supporting autoregressive text prediction and pixel-space flow matching. Experiments show that PixelUMM achieves competitive performance across image and video understanding and generation tasks. We further conduct empirical studies of key design choices, including decoder design and spatial-temporal patch size, providing insights for future pixel-space unified multimodal models.
• Abstract（参考訳）: Unified Multimodal Models (UMM) はしばしば理解と生成のために別々の視覚表現に依存し、視覚的文脈の長さを長くし、確立された視覚言語事前学習パイプラインとの統合を複雑にする。 画素空間モデリングの最近の進歩はエンコーダフリーな代替手段を提供するが、このパラダイムを画像からビデオに拡張するのは簡単ではない。 画像の統一化と画像の理解と生成をピクセル空間で直接行うためのエンコーダフリーモデルであるPixelUMMを提案する。 PixelUMMは、イメージを空間パッチとして表現し、ビデオは時空間のチューブレットとして表現し、単層リニアプロジェクションを通して原画素を共有マルチモーダルバックボーンに接続する。 Mixture-of-Transformersアーキテクチャは、タスク固有のパラメータと共有注意を組み合わせ、クリーンピクセル予測をビデオ生成に拡張し、自動回帰テキスト予測とピクセル空間フローマッチングを共同でサポートする。 実験により、PixelUMMは画像とビデオの理解と生成タスク間での競合性能を達成することが示された。 さらに、デコーダ設計や時空間パッチサイズなど、重要な設計選択に関する実証的研究を行い、将来の画素空間統一マルチモーダルモデルに対する洞察を提供する。

関連論文リスト

• From Pixels to Words -- Towards Native One-Vision Models at Scale [122.87026673966544]
  現在の視覚モデル(VLM)は、通常、複数の段階のアライメントを通して別々の画像エンコーダと言語デコーダを縫合する。 我々は,クロスフレームとピクセルワード対応をエンドツーエンドに学習するネイティブ基盤モデルNEO-ovを紹介する。 NEO-ovは、細粒度の視覚知覚に優れながら、モジュラーとのギャップをかなり狭めている。
  論文  参考訳（メタデータ） (2026-05-27T17:59:55Z)
• UniPixel: Unified Object Referring and Segmentation for Pixel-Level Visual Reasoning [83.68366772745689]
  視覚的なプロンプト入力を柔軟に解釈し,マスクによる応答を生成できる大規模マルチモーダルモデルUniPixelを提案する。 具体的には、UniPixelは、要求に応じて視覚的なプロンプトを処理し、関連するマスクを生成し、推論中にこれらの中間ポインタに対してその後の推論条件を実行する。 提案手法の有効性は,画素レベルの参照/セグメンテーションや画像・ビデオにおけるオブジェクト中心の理解など,多種多様なタスクを対象とした10のベンチマークで検証されている。
  論文  参考訳（メタデータ） (2025-09-22T17:59:40Z)
• PixelBytes: Catching Unified Embedding for Multimodal Generation [0.0]
  PixelBytes Embeddingは、統一マルチモーダル表現学習のための新しいアプローチである。 Image Transformers、PixelCNN、Mamba-Bytesといった最先端のシーケンスモデルにインスパイアされたPixelBytesは、さまざまなデータ型を統合するという課題に対処することを目指している。
  論文  参考訳（メタデータ） (2024-09-03T06:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。