Fugu-MT 論文翻訳(概要): Vision as Unified Multimodal Generation

論文の概要: Vision as Unified Multimodal Generation

arxiv url: http://arxiv.org/abs/2607.06560v1
Date: Tue, 07 Jul 2026 17:58:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-08 21:24:51.619102
Title: Vision as Unified Multimodal Generation
Title（参考訳）: 統一マルチモーダルジェネレーションとしてのビジョン
Abstract要約: SenseNova-Visionは、テキスト、画像、混合ターゲットにまたがるコンピュータビジョンの命令応答コーパスである。このモデルは、検出、OCR、キーポイント推定、セグメンテーション、深さ推定、表面正規予測、ポイントマップ、カメラポーズ推定を含む幅広い視覚タスクをカバーする。実験により、単一の統一モデルが、構造化された視覚的理解、密集した幾何学的予測、セグメンテーション、多視点視覚幾何学にわたる主要なタスク特殊化システムと一致できることが示されている。
参考スコア（独自算出の注目度）: 73.31482353559736
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We formulate computer vision as unified multimodal generation, where heterogeneous visual tasks are expressed in the native text and image generation spaces of a unified multimodal model, without task-specific architectures. Under this formulation, SenseNova-Vision uses natural-language instructions and optional visual prompts to specify tasks, target regions or views, and decoding conventions, and generates responses as text for symbolic outputs, images for dense spatial predictions, or mixed text-and-image outputs for compositional tasks. To support large-scale training, we convert diverse computer vision annotations into instruction-response examples compatible with these generation spaces, resulting in the SenseNova-Vision Corpus, a computer-vision instruction-response corpus spanning text, image, and mixed targets. Starting from an off-the-shelf pretrained unified multimodal model, SenseNova-Vision is trained primarily on this corpus, with auxiliary multimodal data used as a capability-preserving mixture, and requires no task-specific prediction heads or architectural modifications. The resulting model covers a broad range of vision tasks, including detection, OCR, keypoint estimation, segmentation, depth estimation, surface normal prediction, point maps, and camera pose estimation, while supporting language-defined variants that combine category, color, region, and other visual cues. Experiments show that a single unified model can match leading task-specialized systems across structured visual understanding, dense geometric prediction, segmentation, and multi-view visual geometry. These results suggest unified multimodal generation as a scalable route for integrating computer vision capabilities into general-purpose foundation models. The model and corpus are publicly available.
Abstract（参考訳）: コンピュータビジョンを統合型マルチモーダル生成として定式化し、タスク固有のアーキテクチャを使わずに、ネイティブテキストと統合型マルチモーダルモデルの画像生成空間で異種視覚タスクを表現した。この定式化の下で、SenseNova-Visionは、自然言語命令とオプションの視覚的プロンプトを使用して、タスク、ターゲット領域、ビュー、デコード規約を指定し、シンボリックアウトプットのテキスト、密集した空間予測の画像、コンポジションタスクのテキストと画像の混合アウトプットとしてレスポンスを生成する。大規模学習を支援するため,多種多様なコンピュータビジョンアノテーションをこれらの生成空間と互換性のある命令応答例に変換することで,テキスト,画像,混合ターゲットにまたがるコンピュータビジョン命令応答コーパスであるSenseNova-Vision Corpusを実現する。 SenseNova-Visionは、市販の事前訓練された統合マルチモーダルモデルから始まり、主にこのコーパスに基づいて訓練され、補助的なマルチモーダルデータを機能保存ミックスとして使用し、タスク固有の予測ヘッドやアーキテクチャ修正を必要としない。得られたモデルは、検出、OCR、キーポイント推定、セグメンテーション、深さ推定、表面正規予測、ポイントマップ、カメラポーズ推定を含む幅広い視覚タスクをカバーし、カテゴリ、色、地域、その他の視覚的手がかりを組み合わせた言語定義の変種をサポートする。実験により、単一の統一モデルが、構造化された視覚的理解、密集した幾何学的予測、セグメンテーション、多視点視覚幾何学にわたる主要なタスク特殊化システムと一致できることが示されている。これらの結果は、コンピュータビジョン能力を汎用基礎モデルに統合するためのスケーラブルな経路として、統合マルチモーダル生成が提案されている。モデルとコーパスは公開されている。

関連論文リスト

More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe [52.210953881548996]
遠隔センシングベンチマークに挑戦することで,視覚言語モデルが競争力や最先端のパフォーマンスを達成可能であることを示す。我々のモデルは、テキストで直接答えるか、セグメント化とグラウンド化のためにローカライズツールを呼び出すことができる単一の言語ポリシーを使用する。提案手法は,高分解能,マルチテンポラル,マルチモーダル,マルチビュータスクを含む,幅広いベンチマークの競合性を実現する。
論文参考訳（メタデータ） (2026-07-17T13:25:44Z)
FlowInOne:Unifying Multimodal Generation as Image-in, Image-out Flow Matching [86.31254356971506]
FlowInOneは、純粋なビジュアルフローとしてマルチモーダル生成を再構成するフレームワークである。テキスト・ツー・イメージ生成、レイアウト誘導編集、ビジュアル・インストラクションを1つのコヒーレント・パラダイムで統一する。オープンソースモデルと競合する商用システムの両方を超越して、すべての統一された生成タスクにおける最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2026-04-08T07:22:08Z)
DeepSketcher: Internalizing Visual Manipulation for Multimodal Reasoning [16.880791276029964]
画像を用いたシンキング」とは、視覚言語モデルがテキスト中心のチェーンから画像対話的推論へシフトする現象である。本稿では、画像テキストインターリーブ付きデータセットと自己完結型モデルの両方からなる包括的スイートであるDeepSketcherを紹介する。我々は,視覚的な埋め込み空間で直接操作することで,インターリーブされた画像テキスト推論を実行し,視覚的思考を生成するモデルを設計する。
論文参考訳（メタデータ） (2025-09-30T07:02:01Z)
Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
論文参考訳（メタデータ） (2023-12-19T18:53:01Z)
InstructCV: Instruction-Tuned Text-to-Image Diffusion Models as Vision Generalists [66.85125112199898]
我々は,タスク固有の設計選択を抽象化する,コンピュータビジョンタスクのための統一言語インタフェースを開発する。 InstructCVと呼ばれる我々のモデルは、他のジェネラリストやタスク固有の視覚モデルと比較して競合的に機能する。
論文参考訳（メタデータ） (2023-09-30T14:26:43Z)
InstructDiffusion: A Generalist Modeling Interface for Vision Tasks [52.981128371910266]
InstructDiffusionはコンピュータビジョンタスクを人間の指示に合わせるためのフレームワークである。 InstructDiffusionは、タスクの理解や生成タスクなど、さまざまなビジョンタスクを処理できる。目に見えないタスクを処理し、新しいデータセットで前のメソッドより優れていることも示しています。
論文参考訳（メタデータ） (2023-09-07T17:56:57Z)
Unifying (Machine) Vision via Counterfactual World Modeling [5.001446411351483]
本稿では,視覚基盤モデルを構築するためのフレームワークであるCWMを紹介する。 CWMには2つの重要なコンポーネントがあり、ファンデーションモデルの概念をビジョンに適用することを妨げる中核的な問題を解決している。我々は,CWMが様々なタスクのために,現実世界の画像やビデオに対して高品質な読み出しを生成することを示す。
論文参考訳（メタデータ） (2023-06-02T17:45:44Z)
Unified-IO: A Unified Model for Vision, Language, and Multi-Modal Tasks [39.12025963907317]
Unified-IOは、古典的なコンピュータビジョンタスクにまたがるさまざまなAIタスクを実行するモデルである。我々は、サポート対象の入力と出力を個別の語彙トークン列に均質化することで、この統一を実現する。 Unified-IOはGRITベンチマークで7つのタスクすべてを実行することができる最初のモデルである。
論文参考訳（メタデータ） (2022-06-17T17:53:47Z)
Contextual Encoder-Decoder Network for Visual Saliency Prediction [42.047816176307066]
本稿では,大規模な画像分類タスクに基づいて事前学習した畳み込みニューラルネットワークに基づくアプローチを提案する。得られた表現をグローバルなシーン情報と組み合わせて視覚的サリエンシを正確に予測する。最先端技術と比較して、このネットワークは軽量な画像分類バックボーンに基づいている。
論文参考訳（メタデータ） (2019-02-18T16:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。