論文の概要: Oddin: Latent Visual Reasoning in Unified Multimodal Models via Self-Distillation from Image Generation

• arxiv url: http://arxiv.org/abs/2610.33062v1
• Date: Mon, 19 Oct 2026 14:07:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.233644
• Title: Oddin: Latent Visual Reasoning in Unified Multimodal Models via Self-Distillation from Image Generation
• Title（参考訳）: Oddin:画像生成による自己蒸留による統一マルチモーダルモデルにおける潜時視覚推論
• Abstract要約: Oddinは、中間画像を完全に理解ブランチによって処理されるコンパクトな潜在トークンに置き換える。 3つの目的、最終的な画像生成損失、テキスト蒸留損失、特殊トークンのクロスエントロピー損失の3つを用いて、オフライン自己蒸留を用いてモデルを訓練する。
• 参考スコア（独自算出の注目度）: 3.07015565161719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified large multimodal models (ULMMs) are able to perform visual reasoning through interleaved text-image generation, but generating explicit intermediate images incurs significant computational overhead. While visual latent reasoning addresses this, most existing methods rely on vision-language models (VLMs) incapable of visual generation. We propose Oddin, a novel framework enabling latent visual reasoning in ULMMs. Oddin replaces intermediate images with compact latent tokens processed entirely by the understanding branch, reserving the generation branch for the final output image. We train the model via offline self-distillation with three objectives, final image generation losses, text distillation losses, and cross-entropy losses for special tokens. Oddin surpasses interleaved generation baselines and closed-source VLMs on average across seven VBVR-Pro visual reasoning tasks. Qualitative analysis reveals that latent tokens attend to relevant regions in an input image, demonstrating that ULMMs can perform complex visual reasoning without generating intermediate images.
• Abstract（参考訳）: 統一された大規模マルチモーダルモデル(ULMM)は、インターリーブされたテキスト画像生成によって視覚的推論を行うことができるが、明示的な中間画像を生成することは、計算上のオーバーヘッドを著しく引き起こす。 視覚潜在推論はこれに対処するが、既存のほとんどの手法は視覚生成ができない視覚言語モデル(VLM)に依存している。 ULMMにおける潜在的視覚的推論を可能にする新しいフレームワークであるOddinを提案する。 Oddin は中間画像を、理解ブランチで完全に処理されたコンパクトな潜在トークンに置き換え、最終的な出力イメージの生成ブランチを保存する。 3つの目的、最終的な画像生成損失、テキスト蒸留損失、特殊トークンのクロスエントロピー損失の3つを用いて、オフライン自己蒸留を用いてモデルを訓練する。 Oddinは、7つのVBVR-Pro視覚推論タスクで、インターリーブ世代ベースラインとクローズドソースVLMを平均で上回る。 定性的分析により、潜伏トークンは入力画像内の関連領域に付随し、ULMMが中間画像を生成することなく複雑な視覚的推論を行うことを示す。

関連論文リスト

• Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification [80.62512020268626]
  UniARは統合された自己回帰フレームワークであり、単一のビジュアルトークン化器が理解と生成の鍵となる。 UniARは、マルチレベル特徴融合とルックアップフリービットワイド量子化スキームを備えた事前訓練されたビジョンエンコーダを適応する。 拡散に基づく視覚デコーダは、離散的な視覚トークンで高忠実度画像をデコードする。
  論文  参考訳（メタデータ） (2026-06-16T17:59:22Z)
• Do Vision Language Models Need to Process Image Tokens? [37.581930147059445]
  視覚言語モデル(VLM)は、視覚エンコーダと大きな言語モデル(LLM)を統合することで大きな成功を収めた。 画像の持続処理がパフォーマンスに必要か、初期の層から後期層まで有意義に進化するかは、基本的に不明である。
  論文  参考訳（メタデータ） (2026-04-10T15:38:00Z)
• LanteRn: Latent Visual Structured Reasoning [7.141402207573525]
  本稿では,視覚的推論を潜在空間で直接実行可能にするフレームワークであるLanteRnを紹介する。 LanteRnは、推論中に連続的な視覚的思考の埋め込みを生成し、参加する能力を持つ視覚言語変換器を増強する。 我々はLanteRnを3つの知覚中心ベンチマーク(VisCoT, V*, Blink)で評価する。
  論文  参考訳（メタデータ） (2026-03-26T16:41:59Z)
• EvoTok: A Unified Image Tokenizer via Residual Latent Evolution for Visual Understanding and Generation [68.09145886228585]
  理解には高レベルのセマンティック抽象化が必要であり、画像生成には微細なピクセルレベルの表現が必要である。 EvoTokは、共有潜在空間内の残差進化過程を通じてこれらの要求を整合する統合画像トークンである。 EvoTokは9つの視覚的理解ベンチマークのうち7つで有望なパフォーマンスを示しており、GenEvalやGenAI-Benchといった画像生成ベンチマークでは顕著な結果を示している。
  論文  参考訳（メタデータ） (2026-03-12T16:13:43Z)
• ViCO: A Training Strategy towards Semantic Aware Dynamic High-Resolution [71.69364653858447]
  既存のMLLM(Multimodal Large Language Models)は、画像入力によって導入された視覚トークンの追加により、推論コストが増大する。 本研究では,異なる数の視覚トークンを用いて,様々な複雑度の画像を表現可能な,新しい学習アルゴリズムであるVisual Consistency Learning (ViCO)を提案する。 実験の結果,モデルの知覚,推論,OCR能力を維持しつつ,視覚トークンの数を最大50%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-10-14T17:58:10Z)
• Growing Visual Generative Capacity for Pre-Trained MLLMs [60.826355079902505]
  Bridgeは純粋な自己回帰統合MLLMであり、学習済みの視覚的理解モデルを生成能力で強化する。 本稿では,コンパクトなセマンティックトークンと微細なピクセルトークンを統合するセマンティック・ツー・ピクセルの離散表現を提案する。
  論文  参考訳（メタデータ） (2025-10-02T00:40:02Z)
• Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens [44.19323180593379]
  視覚言語モデル(VLM)は多モーダル理解において優れているが、テキストのみの復号化は視覚的推論の言語化を強いる。 最近の試みでは、VLMに明示的な画像をレンダリングするように訓練されているが、重い画像生成による事前学習は、しばしば推論能力を妨げている。 本稿では,VLMデコーディングを通常のテキストと並行して遅延視覚トークンで拡張する,Mirageと呼ばれるマシンメンタルイメージフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:31Z)
• Generative Multimodal Pretraining with Discrete Diffusion Timestep Tokens [66.02261367232256]
  MLLM(Multimodal Large Language Models)は、視覚的理解と生成を統一することを目的としている。 既存のアプローチは空間的トークンに依存しており、画像パッチは空間的順序に応じてエンコードされ配置される。 本稿では,個別の視覚トークンを学習するために拡散時間ステップを再構成し,適切な視覚言語を構築する。
  論文  参考訳（メタデータ） (2025-04-20T16:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。