論文の概要: UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation
- arxiv url: http://arxiv.org/abs/2611.16517v1
- Date: Thu, 12 Nov 2026 09:16:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.410795
- Title: UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation
- Title(参考訳): UniSpark: マルチモーダル理解と生成のためのハイブリッドアテンション
- Abstract要約: 視覚的理解と生成のためのハイブリッドアテンションを探索する統合マルチモーダルモデルUniSpark-9Bを提案する。
UniSparkは、各ブランチに約9Bのパラメータを持つMixture-of-Transformer-Expertsバックボーン上に構築されている。
自動回帰テキスト予測とビジュアルフローマッチングは、共同で視覚的質問応答、テキスト・ツー・イメージ生成、命令誘導編集、インターリーブされたテキスト・イメージ予測をサポートする。
- 参考スコア(独自算出の注目度): 51.08484317010277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present UniSpark-9B, a unified multimodal model that investigates hybrid attention for visual understanding and generation. Built on a Mixture-of-Transformer-Experts backbone with approximately 9B parameters in each branch, UniSpark combines full attention for explicit token interactions with GatedDeltaNet linear attention for compact context propagation. Autoregressive text prediction and visual flow matching jointly support visual question answering, text-to-image generation, instruction-guided editing, and interleaved text-image prediction. In interleaved generation, noisy visual targets are isolated from subsequent predictions, while clean visual representations provide context for later outputs. A blockwise protocol enforces this distinction through attention masks in full-attention layers and recurrent-state retention rules in linear-attention layers. The selected training sources contain 159.7M generation samples, 213.4M understanding samples, and 624.8K interleaved sequences. A four-stage curriculum jointly trains multimodal understanding and visual generation, refining answer accuracy and instruction following while extending image synthesis to 2K. UniSpark scores 2470.3 on MME-S and 0.83 on GenEval. Qualitative examples further illustrate its capabilities in interleaved image generation, video synthesis, and video editing. Together, these results demonstrate that hybrid attention provides an effective backbone for unified multimodal understanding and generation.
- Abstract(参考訳): 視覚的理解と生成のためのハイブリッドアテンションを探索する統合マルチモーダルモデルUniSpark-9Bを提案する。
UniSparkは、各ブランチに約9Bのパラメータを持つMixture-of-Transformer-Expertsバックボーン上に構築されている。
自動回帰テキスト予測とビジュアルフローマッチングは、共同で視覚的質問応答、テキスト・ツー・イメージ生成、命令誘導編集、インターリーブされたテキスト・イメージ予測をサポートする。
インターリーブ生成では、ノイズの多い視覚的ターゲットはその後の予測から切り離され、クリーンな視覚的表現は後の出力にコンテキストを提供する。
ブロックワイズプロトコルは、フルアテンション層におけるアテンションマスクと、リニアアテンション層におけるリカレントステート保持規則を通じて、この区別を強制する。
選択されたトレーニングソースは、159.7M生成サンプル、213.4M理解サンプル、624.8Kインターリーブ配列を含む。
4段階のカリキュラムは、画像合成を2Kに拡張しながら、マルチモーダル理解と視覚生成を共同で訓練する。
UniSparkはMME-Sで2470.3、GenEvalで0.83。
定性的な例は、インターリーブド画像生成、ビデオ合成、ビデオ編集の能力を更に示している。
これらの結果は、ハイブリッドアテンションが、統合マルチモーダル理解と生成に有効なバックボーンを提供することを示す。
関連論文リスト
- UniMore: Fine-Grained Supervision for Unified Understanding and Generation [46.65767129178851]
統一マルチモーダルモデルは、1つのシステム内で画像の理解と生成を結合する。
画像テキストペアの微細な内容からこれらの相補的学習タスクを導出するUniMoreを提案する。
実験では、複数の理解と生成のベンチマークで利益が得られます。
論文 参考訳(メタデータ) (2026-11-06T05:11:14Z) - WeLM-Image: A Unified Image Generation Model towards Visual Intelligence [20.258133655334387]
textbfWeLM-Imageは、マルチモーダル理解をテキスト・ツー・イメージ生成、命令誘導編集、マルチ参照合成に統合する。
WeLM-Image-Turboは4.98で1024時間1024ドルの画像を生成する。
論文 参考訳(メタデータ) (2026-11-05T03:41:53Z) - MoETok: Sparse Expert Routing for 1D Visual Tokenizers [52.30634907797462]
MoETokは1Dビジュアルトークンライザで、トークンをわずかにアクティベートされた専門家を通してルーティングする。
ImageNetでは、強力な再構成とセマンティック表現と最先端のクラス条件生成を組み合わせる。
論文 参考訳(メタデータ) (2026-10-30T16:37:55Z) - Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。
本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。
画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
論文 参考訳(メタデータ) (2026-06-25T17:59:57Z) - WEAVE: Unleashing and Benchmarking the In-context Interleaved Comprehension and Generation [98.47375190901447]
We present WEAVE, the first suite for in-context interleaved cross-modality comprehension and generation。
WeAVE-100kは、370Kのダイアログターンと500Kイメージにまたがる100Kのインターリーブサンプルの大規模なデータセットである。
WeAVEBenchは480の画像に基づいた100のタスクを備えた人手によるベンチマークである。
論文 参考訳(メタデータ) (2025-11-14T16:02:38Z) - MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer [90.72238747690972]
マルチモーダルな大規模言語モデルのためのシンプルでスケーラブルな統合フレームワークであるManzanoを紹介します。
単一の視覚エンコーダは、画像からテキストへの理解のための連続的な埋め込みを生成する2つのアダプタと、テキストから画像への生成のための離散トークンを提供する。
統合自己回帰LDMはテキストと画像トークンの形式で高レベルのセマンティクスを予測し、補助拡散デコーダで画像トークンをピクセルに変換する。
論文 参考訳(メタデータ) (2025-09-19T17:58:00Z) - GAME: Learning Multimodal Interactions via Graph Structures for Personality Trait Estimation [13.071227081328288]
ショートビデオからの明瞭なパーソナリティ分析は、視覚的、聴覚的、およびテキスト的手がかりの複雑な相互作用のため、重要なチャルレンジを呈する。
本稿では,グラフ拡張型マルチモーダル進化法であるGAMEを提案する。
ビジュアルストリームのために、顔グラフを構築し、グラフ畳み込みネットワーク(GCN)と畳み込みニューラルネットワーク(CNN)を組み合わせたデュアルブランチGeo Two-Stream Networkを導入する。
時間的ダイナミクスを捉えるために、フレームレベルの特徴はBiGによって処理される
論文 参考訳(メタデータ) (2025-05-05T13:48:09Z) - Unified Autoregressive Visual Generation and Understanding with Continuous Tokens [52.21981295470491]
We present UniFluid, a unified autoregressive framework for joint visual generation and understanding。
我々の統合自己回帰アーキテクチャはマルチモーダル画像とテキスト入力を処理し、テキストの離散トークンと画像の連続トークンを生成する。
画像生成と理解タスクの間には本質的にトレードオフがあることに気付きましたが、注意深く調整されたトレーニングレシピによって互いに改善できるようになりました。
論文 参考訳(メタデータ) (2025-03-17T17:58:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。