論文の概要: VoT: Vision-of-Thought for Unified Multimodal Representation Alignment

• arxiv url: http://arxiv.org/abs/2609.07815v1
• Date: Mon, 07 Sep 2026 17:53:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.495625
• Title: VoT: Vision-of-Thought for Unified Multimodal Representation Alignment
• Title（参考訳）: VoT:統一型マルチモーダル表現アライメント
• Abstract要約: Vision-of-Thought(VoT)は、視覚言語モデル(VLM)と拡散トランスフォーマー(DiT)の間に離散的な視覚的思考層を導入するフレームワークである。 VoTは、ピクセルをレンダリングする前に、オブジェクトやレイアウトなどの高レベルなビジュアルプランを表す個別のVoTトークンを生成する。 VLMのセマンティック空間において、VLMアライメント、特徴再構成、ベクトル量子化損失を組み合わせた閉ループ目的の特別なVoTトークンライザを訓練する。
• 参考スコア（独自算出の注目度）: 38.89764677562606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current text-to-image systems typically employ a "text encoder plus diffusion decoder" paradigm, in which text semantics directly modulate continuous latent noise. Despite their success, these methods lack an explicit, interpretable intermediate representation that effectively bridges high-level linguistic semantics and low-level visual signals. In this paper, we propose Vision-of-Thought (VoT), a framework that introduces a discrete visual-thinking layer between vision-language models (VLMs) and diffusion transformers (DiTs). Instead of treating VLMs merely as text encoders, we use them as multimodal planners that generate discrete VoT tokens representing high-level visual plans, such as objects and layouts, before rendering pixels. We train a specialized VoT tokenizer in the VLM semantic space with a closed-loop objective that combines VLM alignment, feature reconstruction, and vector-quantization losses. These objectives make the tokens semantically readable by the VLM while preserving the visual information needed for generation. Experimental results demonstrate that VoT improves semantic alignment and provides a structured interface for interpretable and controllable generation.
• Abstract（参考訳）: 現在のテキスト・トゥ・イメージシステムでは「テキストエンコーダ+拡散デコーダ」パラダイムが一般的であり、テキストセマンティクスは連続的な潜時ノイズを直接変調する。 彼らの成功にもかかわらず、これらの手法は、高レベルの言語意味論と低レベルの視覚信号を効果的に橋渡しする明示的で解釈可能な中間表現を欠いている。 本稿では,視覚言語モデル (VLM) と拡散変換器 (DiT) の間に離散的な視覚的思考層を導入するフレームワークであるVision-of-Thought (VoT) を提案する。 VLMを単にテキストエンコーダとして扱う代わりに、画素を描画する前にオブジェクトやレイアウトなどの高レベルな視覚計画を表す個別のVoTトークンを生成するマルチモーダルプランナとして使用する。 VLMのセマンティック空間において、VLMアライメント、特徴再構成、ベクトル量子化損失を組み合わせた閉ループ目的の特別なVoTトークンライザを訓練する。 これらの目的は、生成に必要な視覚情報を保存しながら、VLMが意味的にトークンを読み取ることを可能にする。 実験により、VoTはセマンティックアライメントを改善し、解釈可能かつ制御可能な生成のための構造化インターフェースを提供することが示された。

関連論文リスト

• Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation [50.92925099642139]
  拡散変換器(DiT)は高忠実度ビデオ生成において支配的なパラダイムとなっているが、ハイレベルなセマンティックプランニングを行う能力は依然として限られている。 MLLMが最初にセマンティック・ビジュアル・トークンを生成し、DiTが多層クロスアテンションを介してテキストとそれらのトークンに条件付きビデオを表示するハイブリッド・フレームワークであるBiVidGenを提案する。
  論文  参考訳（メタデータ） (2026-08-14T07:40:41Z)
• Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment [20.811984469709508]
  Auraは、高忠実でアイデンティティに一貫性のあるビデオ生成のための統一されたフレームワークである。 本稿では,映像コンテンツの密度と構造を記述したAIディレクターレベルのキャプションを紹介する。 専用データ構築パイプラインを通じて高品質なビデオオブジェクト画像データセットを構築する。
  論文  参考訳（メタデータ） (2026-07-05T13:54:33Z)
• A More Word-like Image Tokenization for MLLMs [26.120899392740203]
  本稿では,コヒーレントなセマンティックユニットへのパッチの埋め込みをクラスタ化するDisentangled Visual Tokenization (DiVT)を提案する。 多様なマルチモーダルベンチマークで、DiVTはベースラインにマッチするか、はるかに少ないビジュアルトークンで超える。
  論文  参考訳（メタデータ） (2026-05-18T07:09:46Z)
• MiVE: Multiscale Vision-language features for reference-guided video Editing [31.68670789147968]
  我々は、VLMをマルチスケール特徴抽出器として再利用するフレームワークであるMiVE(Multiscale Vision- language features for reference-guided video Editing)を提案する。 実験により、MiVEは人間の嗜好において最高にランク付けし、学術的手法と商業システムの両方を上回り、最先端のパフォーマンスを達成することが実証された。
  論文  参考訳（メタデータ） (2026-05-14T10:19:19Z)
• Attention Guided Alignment in Efficient Vision-Language Models [56.20286899428444]
  VLM(Large Vision-Language Models)は、事前訓練された視覚エンコーダとLLM(Large Language Models)の効果的なマルチモーダルアライメントに依存している。 本稿では,効率的なVLMにおける注意パターンの包括的解析について述べる。 本稿では,Attention-Guided Efficient Vision-Language Models (AGE-VLM)を紹介する。
  論文  参考訳（メタデータ） (2025-11-21T21:36:48Z)
• UniFusion: Vision-Language Model as Unified Encoder in Image Generation [12.811191961286852]
  We present UniFusion, a diffusion-based generative model conditioned on a frozen large vision- language model (VLM) that serve as an unified multimodal encoder。 LAPは、VLMから編集の鍵となる拡散モデルへの視覚情報の生成と忠実な伝達のために、テキストイメージアライメントにおいて、他の浅層融合アーキテクチャよりも優れていることを示す。 本稿では,VLMが生成するテキストトークンにのみ拡散変換器(DiT)を条件として,フレキシブル推論を用いたVLM-Enabled Rewriting Injectionを提案する。
  論文  参考訳（メタデータ） (2025-10-14T17:57:56Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。