論文の概要: SenseNova-U1.5: Towards Native Unified Visual Intelligence
- arxiv url: http://arxiv.org/abs/2609.11929v1
- Date: Thu, 10 Sep 2026 17:59:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.496247
- Title: SenseNova-U1.5: Towards Native Unified Visual Intelligence
- Title（参考訳）: SenseNova-U1.5: ネイティブ統一ビジュアルインテリジェンスを目指す
- Abstract要約: SenseNova-U1.5は、8B-MoTネイティブ統一マルチモーダルモデルであり、視覚的コンテンツを理解、理由付け、生成する。
我々は,データ生成と編集を慎重に行うことでトレーニングをスケールし,タスクの定式化,構造的プロンプト強化,最大4Kのネイティブ解像度を実現した。
我々は,教師付き微調整,強化学習,およびオンライン蒸留を含む訓練コードをオープンソース化する。
- 参考スコア（独自算出の注目度）: 100.20348258853939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We launch SenseNova-U1.5, an 8B-MoT native unified multimodal model that understands, reasons about, and generates visual content within an encoder-free and VAE-free architecture. We strengthen its visual interface through spatially coherent patch reconstruction and scale its training with carefully curated generation and editing data, improved task formulation, structural prompt enhancement, and native resolutions of up to 4K. For post-training, we optimize specialized experts for visual aesthetics, bilingual text rendering, infographic generation, and image editing, and consolidate their capabilities through multi-expert on-policy distillation. Across extensive evaluations, SenseNova-U1.5 largely advances image fidelity, text rendering, complex composition, multi-reference editing, and interleaved generation, while improving instruction following and preserving subject identity, geometry, and unmodified regions. Despite limited exposure to structured formats in its generation data, SenseNova-U1.5 generalizes effectively to long, complex, and structured visual instructions, further proving that multimodal understanding can transfer to visual planning and creation. Together, these findings position native unified modelling as a promising path towards systems that perceive, reason and create within a fully end-to-end framework. We will open-source training code, including supervised fine-tuning, reinforcement learning, and on-policy distillation.
- Abstract（参考訳）: 我々は8B-MoTネイティブ統一マルチモーダルモデルであるSenseNova-U1.5をローンチした。
空間的コヒーレントなパッチ再構成によって視覚的インタフェースを強化し、注意深くキュレートされた生成および編集データを用いてトレーニングをスケールし、タスクの定式化、構造的プロンプト強化、最大4Kのネイティブ解像度を向上する。
ポストトレーニングでは,視覚美学,バイリンガルテキストレンダリング,インフォグラフィック生成,画像編集などの専門家を最適化し,マルチ専門家によるオンライン蒸留を通じてその能力を集約する。
SenseNova-U1.5は画像の忠実さ、テキストのレンダリング、複雑な合成、マルチ参照編集、インターリーブド生成など、広範囲にわたる評価において大きく進歩し、教科のアイデンティティ、幾何学、未修正領域の保存や指導の改善を実現している。
SenseNova-U1.5は、生成データ中の構造化フォーマットに限られているにもかかわらず、効果的に、長く、複雑で、構造化された視覚命令に一般化し、マルチモーダルな理解が視覚的な計画と創造に移行できることを証明している。
これらの知見を合わせて、ネイティブ統一モデリングは、完全にエンドツーエンドのフレームワークの中で、理解し、理性を持ち、創造するシステムへの有望な道と位置づけている。
我々は,教師付き微調整,強化学習,およびオンライン蒸留を含む訓練コードをオープンソース化する。
関連論文リスト
- From Dense Prediction to Visual Editing: Structured Supervision for Unified Image and Video Creation [47.1844759979843]
統一された画像とビデオの作成には、視覚的コンテキストからアイデンティティ、幾何学、時間的構造を保ちながら、多様な指示に従うモデルが必要である。
我々は、これらの密なタスクを同じ生成インタフェース内で構造化された視覚的監視として利用し、深度と表面正規化予測を画像形式認知ターゲットとして定式化する。
論文 参考訳（メタデータ） (2026-08-13T18:11:45Z) - Vision as Unified Multimodal Generation [73.31482353559736]
SenseNova-Visionは、テキスト、画像、混合ターゲットにまたがるコンピュータビジョンの命令応答コーパスである。
このモデルは、検出、OCR、キーポイント推定、セグメンテーション、深さ推定、表面正規予測、ポイントマップ、カメラポーズ推定を含む幅広い視覚タスクをカバーする。
実験により、単一の統一モデルが、構造化された視覚的理解、密集した幾何学的予測、セグメンテーション、多視点視覚幾何学にわたる主要なタスク特殊化システムと一致できることが示されている。
論文 参考訳（メタデータ） (2026-07-07T17:58:33Z) - SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture [110.20462227888915]
NEO-Unify上に構築されたネイティブ統一マルチモーダルパラダイムであるSenseNova-U1を紹介する。
SenseNova-U1-8B-MoT と SenseNova-U1-A3B-MoT の2つのネイティブ統一型について述べる。
また,コミュニティ研究を支援するためのモデル設計,データ前処理,事前/後学習,推論戦略についても紹介する。
論文 参考訳（メタデータ） (2026-05-12T17:59:58Z) - Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation [68.03746493619285]
視覚理解,テキスト・ツー・イメージ生成,指導誘導画像編集のための統合マルチモーダル基盤モデルであるJoyAI-Imageを提案する。
我々は,一貫した命令チューニング,長文レンダリングの監督,空間的接地データ,一般および空間的編集信号を組み合わせたスケーラブルなトレーニングレシピを構築した。
JoyAI-Imageは、理解、生成、長文レンダリング、および編集ベンチマークにまたがる実験により、最先端または競争力の高いパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-05-05T15:49:47Z) - Wan-Image: Pushing the Boundaries of Generative Visual Intelligence [86.08534008471356]
Wan-Imageは、パラダイムシフト画像生成モデルに設計された統合ビジュアル生成システムである。
大規模マルチモーダルデータスケーリング、体系的な微粒化アノテーションエンジン、強化学習データによって実現されている。
最終的にWan-Imageは、eコマース、エンターテイメント、教育、そして個人の生産性で視覚的コンテンツの創造に革命をもたらす。
論文 参考訳（メタデータ） (2026-04-21T17:58:58Z) - Factuality Matters: When Image Generation and Editing Meet Structured Visuals [46.627460447235855]
我々は、13万の高品質な構造化画像対からなる大規模データセットを構築した。
FLUX.1 KontextとVLMを統合する統一モデルを訓練する。
3段階のトレーニングカリキュラムは、プログレッシブな特徴アライメント、知識の注入、推論による生成を可能にする。
論文 参考訳（メタデータ） (2025-10-06T17:56:55Z) - Unified Multimodal Model as Auto-Encoder [69.38946823657592]
本稿では,テキストに画像を圧縮するエンコーダ(I2T)と,そのテキストから画像を再構成するデコーダ(T2I)の理解に関するパラダイムを紹介する。
我々の経験的結果は、理解は生成を大幅に促進し(GenEvalで検証されている)、生成は、特にきめ細かい視覚知覚を強化することを示唆している。
論文 参考訳（メタデータ） (2025-09-11T17:57:59Z) - UniWorld-V1: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation [14.95468978198402]
OpenAIは強力なGPT-4oイメージモデルを導入した。
この知見にインスパイアされたUniWorld-V1は、強力な大言語モデルから抽出された意味的特徴に基づいて構築された統合生成フレームワークである。
論文 参考訳（メタデータ） (2025-06-03T17:59:33Z) - POINTS1.5: Building a Vision-Language Model towards Real World Applications [33.53291443466257]
実世界の様々な応用に優れた新しい視覚言語モデルPOINTS1.5を導入する。
画像解像度が固定されたオリジナルのCLIPビジョンエンコーダを、ネイティブな動的高解像度をサポートするNaViTスタイルのビジョンエンコーダに置き換える。
我々はPOINTS1.5にバイリンガルサポートを追加し、中国語の能力を大幅に強化した。
論文 参考訳（メタデータ） (2024-12-11T15:08:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。