論文の概要: OmniMoE-VL: A Sparse Vision-Language Model with Coupled Visual-Depth Routing

• arxiv url: http://arxiv.org/abs/2609.32780v1
• Date: Sat, 26 Sep 2026 16:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:24:43.481162
• Title: OmniMoE-VL: A Sparse Vision-Language Model with Coupled Visual-Depth Routing
• Title（参考訳）: OmniMoE-VL:視覚深度を結合した疎視言語モデル
• Abstract要約: 視覚深度プロジェクタを結合したスパースVLMであるOmniMoE-VLを紹介する。 各画像プロンプトペアに対して、プロジェクタは、中間的な視覚深度のスパースセットを選択する。 この設計は、ネイティブな視覚情報シーケンスを保持しながら、質問依存の視覚アクセスを可能にする。
• 参考スコア（独自算出の注目度）: 34.18938906209582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) increasingly use sparse mixture-of-experts (MoE) to scale language-side computation, yet visual information is typically routed only after passing through a fixed cross-modal interface. This leaves an important decision unresolved: which intermediate visual representations should be exposed to language computation for a given question? We introduce OmniMoE-VL, a sparse VLM with a coupled visual-depth routed projector. For each image-prompt pair, the projector selects a sparse set of intermediate visual depths and reuses the resulting global preference to guide both local patch fusion and dynamic visual injection into the language model. This design enables question-dependent visual access while preserving the native visual-token sequence, and complements token-level expert routing in the vision and language stacks. Across eight image-based benchmarks, OmniMoE-VL achieves an average score of 85.9 with 28B total and 9B activated parameters. Controlled comparisons show that the routed visual interface provides the dominant architectural gain, while matched route and component controls, same-image route analysis, and route interventions further support the value of coupling and question-conditioned visual access.
• Abstract（参考訳）: 視覚言語モデル (VLM) は、言語側の計算をスケールするためにスパース・ミックス・オブ・エキスパート (MoE) を使用することが多いが、視覚情報は固定されたクロスモーダルインターフェースを通過した後にのみルーティングされるのが一般的である。 これは重要な決定を未解決のまま残している。どの中間的な視覚表現が与えられた質問に対して言語計算に露出されるべきなのか? 視覚深度プロジェクタを結合したスパースVLMであるOmniMoE-VLを紹介する。 各画像プロンプトペアに対して、プロジェクタは、中間的な視覚深度のスパースセットを選択し、その結果のグローバルな選好を再利用して、局所的なパッチ融合と動的視覚注入の両方を言語モデルに誘導する。 この設計は、ネイティブなビジュアルトークンシーケンスを保持しながら、質問依存のビジュアルアクセスを可能にし、ビジョンと言語スタックにおけるトークンレベルのエキスパートルーティングを補完する。 8つの画像ベースのベンチマークで、OmniMoE-VLは平均スコア85.9、合計28B、アクティベートパラメータ9Bを達成した。 制御された比較では、経路と部品の制御、同一画像の経路解析、経路介入が結合と質問条件の視覚的アクセスの価値をさらに支援しているのに対し、経路付きビジュアルインタフェースはアーキテクチャ上の優位性を示している。

関連論文リスト

• Stateful Visual Encoders for Vision-Language Models [85.81539882553659]
  視覚言語モデル(VLM)は、意思決定が視覚的変化に依存するマルチイメージ、マルチターンエージェント設定において、ますます使われている。 既存のオープンウェイトなVLMでは、ビジュアル比較は言語モデル内でのみ行われ、ビジュアルエンコーダ自体はステートレスのままである。 我々は、先行する視覚的特徴に対して各視覚的表現を条件付けるステートフルビジュアルを導入する。
  論文  参考訳（メタデータ） (2026-06-03T04:31:15Z)
• Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models [66.96421290733126]
  VLA(Vision-Language-Action)モデルは、ロボット操作のための有望なパラダイムとして登場した。 我々はtextbfVision-Language Mixture-of-Transformers (VL-MoT) フレームワーク上に構築した textbfDeepVision-VLA を提案する。 DeepVision-VLAは、シミュレーションされたタスクと実世界のタスクで、それぞれ9.0%と7.5%の先行の最先端メソッドより優れている。
  論文  参考訳（メタデータ） (2026-03-16T17:59:54Z)
• FUSE-RSVLM: Feature Fusion Vision-Language Model for Remote Sensing [21.38912956638889]
  MF-RSVLMは多機能核融合リモートセンシングビジョン-言語モデルである。 マルチスケールの視覚表現を学習し、グローバルなコンテキストと局所的な詳細を組み合わせる。 リモートセンシング分類、画像キャプション、VQAタスクにまたがる最先端または高い競争性能を達成する。
  論文  参考訳（メタデータ） (2025-12-30T06:48:07Z)
• Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment [61.769441954135246]
  テキストアノテーションを使わずにリモートセンシング画像の視覚言語モデルを訓練する手法を提案する。 私たちの重要な洞察は、リモートセンシング画像と言語を接続するための仲介手段として、地上で撮影されたコロケーションのインターネットイメージを使用することです。
  論文  参考訳（メタデータ） (2023-12-12T03:39:07Z)
• ViP-LLaVA: Making Large Multimodal Models Understand Arbitrary Visual Prompts [38.59120110371588]
  任意の視覚的プロンプトをデコードできる新しいマルチモーダルモデルを提案する。 これにより、ユーザは直感的にイメージをマークし、"赤いバウンディングボックス"や"ポイントアロー"のような自然なキューを使ってモデルと対話できる。 我々の単純な設計では、ビジュアルマーカーをRGBイメージに直接オーバーレイし、複雑な領域エンコーディングを不要にしています。
  論文  参考訳（メタデータ） (2023-12-01T18:59:56Z)
• GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation [52.65506307440127]
  我々は,ロバストなビジュアル・アンド・ランゲージナビゲーションのためのスロットアテンションに基づく幾何学的視覚表現を学習するGeoVLNを提案する。 我々はV&L BERTを用いて言語情報と視覚情報の両方を組み込んだクロスモーダル表現を学習する。
  論文  参考訳（メタデータ） (2023-05-26T17:15:22Z)
• OmniVL:One Foundation Model for Image-Language and Video-Language Tasks [117.57580168859512]
  我々は,1つのユニバーサルアーキテクチャを用いて,画像言語と映像言語の両方をサポートする新しい基礎モデルOmniVLを提案する。 従来の一方向転送とは対照的に,画像タスクと映像タスクの両方にこのようなパラダイムが有効であることを示す。 我々は、画像テキスト、ビデオテキスト、画像ラベル(画像分類など)、ビデオラベル(ビデオ行動認識など)データを併用するために、新しい統合視覚言語コントラスト(UniVLC)ロスを導入する。
  論文  参考訳（メタデータ） (2022-09-15T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。