論文の概要: Modeling Cross-vision Synergy for Unified Large Vision Model

• arxiv url: http://arxiv.org/abs/2603.03564v1
• Date: Tue, 03 Mar 2026 22:44:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.110278
• Title: Modeling Cross-vision Synergy for Unified Large Vision Model
• Title（参考訳）: 統合大視モデルのためのクロスビジョンシナジーのモデル化
• Authors: Shengqiong Wu, Lanhu Wu, Mingyang Bao, Wenhao Xu, Hanwang Zhang, Shuicheng Yan, Hao Fei, Tat-Seng Chua,
• Abstract要約: PolyVは、アーキテクチャレベルとトレーニングレベルの両方で、クロスビジョンのシナジーを実現する統一された大型ビジョンモデルである。 PolyVは既存のモデルを一貫して上回り、バックボーンの10%以上の平均的な改善を実現している。
• 参考スコア（独自算出の注目度）: 130.37489011094036
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in large vision models (LVMs) have shifted from modality-specific designs toward unified architectures that jointly process images, videos, and 3D data. However, existing unified LVMs primarily pursue functional integration, while overlooking the deeper goal of cross-vision synergy: the ability to reason over complementary priors across visual modalities. To address this, we present PolyV, a unified LVM that achieves cross-vision synergy at both the architectural and training levels. Architecturally, PolyV adopts a sparse Mixture-of-Experts LVM coordinated by a dynamic modality router, allowing each expert to specialize in modality-specific priors while enabling bidirectional interaction and mutual refinement across modalities. Training-wise, a synergy-aware paradigm combines modality-specific pretraining with coarse-to-fine synergy tuning via knowledge distillation and object-/relation-level alignment. Extensive experiments on 10 benchmarks spanning image, video, and 3D understanding, including synergy-focused datasets requiring spatial or temporal priors, demonstrate that PolyV consistently outperforms existing models, achieving over 10% average improvement over its backbone. Overall, PolyV establishes a unified framework for synesthetic visual reasoning, advancing toward truly synergistic LVMs. Project page: https://sqwu.top/PolyV.
• Abstract（参考訳）: 大規模視覚モデル(LVM)の最近の進歩は、モダリティ特有の設計から、画像、ビデオ、および3Dデータを共同で処理する統一アーキテクチャへと移行してきた。 しかし、既存の統一LVMは主に機能統合を追求する一方で、クロスビジョンのシナジーというより深い目標を見越す。 これを解決するために、アーキテクチャレベルとトレーニングレベルの両方で、クロスビジョンのシナジーを実現する統一LVMであるPolyVを紹介します。 アーキテクチャ的には、PolyVは動的モダリティルータによって調整されたスパース・ミックス・オブ・エクスプロイトのLVMを採用しており、各専門家は、双方向の相互作用とモダリティ間の相互改善を可能にしながら、モダリティ固有の事前処理を専門化することができる。 訓練面では、シナジー・アウェアのパラダイムは、モダリティ固有の事前訓練と、知識蒸留とオブジェクト/リレーレベルのアライメントによる粗い粒度間のシナジーチューニングを組み合わせたものである。 画像、ビデオ、および3D理解にまたがる10のベンチマークに関する大規模な実験では、空間的または時間的先行性を必要とするシナジー中心のデータセットを含む、PolyVが既存のモデルより一貫して優れており、バックボーンよりも10%以上の平均的な改善が達成されていることを実証している。 全体として、PolyVは、真にシナジスティックなLVMに向けて、審美的な視覚的推論のための統一されたフレームワークを確立している。 プロジェクトページ: https://sqwu.top/PolyV。

関連論文リスト

• Reconstructing Content via Collaborative Attention to Improve Multimodal Embedding Quality [59.651410243721045]
  CoCoAは、マルチモーダル埋め込み最適化のための協調注意に基づくコンテンツ再構成事前学習パラダイムである。 EOSをベースとした再構築タスクを導入し、対応するEOS>埋め込みからの入力を再構成するようモデルに促す。 MMEB-V1の実験では、Qwen2-VLとQwen2.5-VLをベースにしたCoCoAが埋め込み品質を著しく向上することを示した。
  論文  参考訳（メタデータ） (2026-03-02T05:34:45Z)
• From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
  VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。 CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
  論文  参考訳（メタデータ） (2026-01-15T18:59:10Z)
• MindGPT-4ov: An Enhanced MLLM via a Multi-Stage Post-Training Paradigm [25.7631608456086]
  MindGPT-4ovは、データ生産、モデルトレーニング、効率的なデプロイメントにまたがる一般的なポストトレーニングパラダイムである。 複数のベンチマークにまたがって、最先端のパフォーマンスを低コストで達成する。 MindGPT-4ovは垂直ドメインタスクにおいて優れたユーザエクスペリエンスを示す。
  論文  参考訳（メタデータ） (2025-12-02T16:04:11Z)
• Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models [75.45940282834327]
  本稿では,MLLMの空間的推論能力の評価と改善を目的とした視点学習を紹介する。 多様な視点とそれに対応する質問応答対を持つ100Kオブジェクト中心のイメージペアからなるViewpoint-100Kデータセットを提案する。 このアプローチでは2段階の微調整戦略を採用し,複数のタスクにまたがる大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-11-03T14:27:00Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey [45.10095869091538]
  膨大な画像テキストデータセットに基づいて事前訓練されたLarge Vision-Language Models (VLM) 上に構築されたVLAモデルが、トランスフォーメーションパラダイムとして登場した。 この調査は、ロボット操作のための大規模なVLMベースのVLAモデルの、最初の体系的で分類指向のレビューを提供する。
  論文  参考訳（メタデータ） (2025-08-18T16:45:48Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• UniViTAR: Unified Vision Transformer with Native Resolution [37.63387029787732]
  UniViTARは、視覚の統一性とネイティブ解像度のシナリオに適した、均質な視覚基盤モデルのファミリーである。 2つのコアメカニズムを戦略的に組み合わせたプログレッシブトレーニングパラダイムが導入された。 並行して、ハイブリッドトレーニングフレームワークは、凍結教師モデルからの特徴蒸留に伴うシグモイドに基づくコントラスト損失をさらにシナジする。
  論文  参考訳（メタデータ） (2025-04-02T14:59:39Z)
• Astrea: A MOE-based Visual Understanding Model with Progressive Alignment [10.943104653307294]
  マルチモーダル理解において,Mixture-of-Experts (MoE)アーキテクチャに基づく視覚言語モデル (VLM) が重要なパラダイムとして登場した。 本稿では,プログレッシブ事前アライメントに基づく新しいマルチエキスパート協調型VLMアーキテクチャであるAstreaを提案する。
  論文  参考訳（メタデータ） (2025-03-12T14:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。