論文の概要: Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings

• arxiv url: http://arxiv.org/abs/2609.25165v1
• Date: Mon, 21 Sep 2026 12:44:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.049389
• Title: Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
• Title（参考訳）: Ovis-Embedding:Universal Omni-Modal Embeddingのフロンティアを推し進める
• Abstract要約: テキスト、画像、ビデオ、オーディオのネイティブ統合をベースに構築された最先端のOmni-modal埋め込みファミリ。 Ovis-Embeddingは共有マルチモーダルバックボーンを使用して、共通の表現空間内の異なるモダリティを符号化する。 経験的評価は、textbfOvis-Embedding familyが最先端のパフォーマンスを達成することを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this report, we introduce \textbf{Ovis-Embedding}, a state-of-the-art omni-modal embedding family built on native integration of text, image, video, and audio. Instead of assembling separate modality towers, Ovis-Embedding uses a shared multimodal backbone to encode different modalities in a common representation space. Specifically, we make \textbf{three key advances}: (1) \textbf{native omni-modal initialization}: we adopt a pretrained Qwen-omni model as the embedding backbone and adapt it through contrastive training with low-rank initialization; (2) \textbf{data-centric omni-modal training}: we construct a broad, high-quality corpus spanning text, images, video, audio, and interleaved multimodal data. To improve data efficiency, we introduce homogeneous-source sampling to form task-consistent batches with informative in-batch negatives; and (3) \textbf{embedding-specific training and inference optimization}: we use focal loss to emphasize hard examples and similarity-based Embedding Distillation to transfer fine-grained similarity structure from complementary experts. At inference time, low-rank feature decomposition enables compact embeddings with flexible dimensionality and minimal performance loss. Empirical evaluations show that the \textbf{Ovis-Embedding} family achieves state-of-the-art performance on \textbf{MMEB-v3}, \textbf{MMEB-v2}, \textbf{MVEB}, \textbf{MAEB}, and \textbf{RTEB}, demonstrating its effectiveness across text, image, video, and audio modalities. These results highlight the potential of unified omni-modal training to overcome modality fragmentation and advance universal embedding models for any-to-any retrieval.
• Abstract（参考訳）: 本稿では,テキスト,画像,ビデオ,オーディオのネイティブ統合を基盤とした,最先端のオムニモーダル埋め込みファミリである \textbf{Ovis-Embedding} を紹介する。 異なるモダリティタワーを組み立てる代わりに、Ovis-Embeddingは共有マルチモーダルバックボーンを使用して共通の表現空間内の異なるモダリティを符号化する。 具体的には、(1) \textbf{native omni-modal initialization}: 事前訓練されたQwen-omniモデルを埋め込みバックボーンとして採用し、低ランク初期化によるコントラストトレーニングにより適応させる; (2) \textbf{data-centric omni-modal training}: テキスト、画像、ビデオ、オーディオ、インターリーブされたマルチモーダルデータにまたがる、広範で高品質なコーパスを構築する。 データ効率を向上させるために,我々は,タスク一貫性のあるバッチを情報的バッチで生成するために,均質なソースサンプリングを導入している。(3) \textbf{embedding-specific training and inference optimization}: 焦点損失を利用して,ハード例と類似性に基づく埋め込み蒸留に着目し,相補的専門家から微細な類似性構造を伝達する。 推論時、低ランクな特徴分解は、フレキシブルな次元と最小性能の損失を持つコンパクトな埋め込みを可能にする。 経験的評価では、 \textbf{Ovis-Embedding} ファミリーは、テキスト、画像、ビデオ、オーディオのモダリティで有効性を示す、 \textbf{MMEB-v3} 、 \textbf{MMEB-v2} 、 \textbf{MVEB} 、 \textbf{MAEB} 、 \textbf{RTEB} の最先端性能を達成する。 これらの結果は、モダリティの断片化を克服し、任意の検索のための普遍的な埋め込みモデルを前進させる統一オムニモーダルトレーニングの可能性を強調している。

関連論文リスト

• AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
  AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。 AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-04T13:28:51Z)
• Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
  永続的な幾何学的異常であるモダリティギャップが残っている。 このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。 固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。 次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
  論文  参考訳（メタデータ） (2026-02-02T13:59:39Z)
• Experiences from Benchmarking Vision-Language-Action Models for Robotic Manipulation [22.40720239761228]
  本稿では,4種類のVLAをベンチマークした経験を報告する。 我々は,3つの重要な側面に沿って性能を計測するtextbf Standardized Evaluation frameworkを構築した。 VLAモデルアーキテクチャ間のトレードオフとして,精度,一般化,デプロイメントコストのバランスが考えられる。
  論文  参考訳（メタデータ） (2025-11-14T13:35:30Z)
• OpenInsGaussian: Open-vocabulary Instance Gaussian Segmentation with Context-aware Cross-view Fusion [89.98812408058336]
  textbfOpenInsGaussian, textbfOpen-vocabulary textbfInstance textbfGaussian segmentation framework with Context-aware Cross-view Fusion。 OpenInsGaussianは、オープン語彙の3Dガウスのセグメンテーションにおける最先端の結果を達成し、既存のベースラインを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2025-10-21T03:24:12Z)
• Denoising and Alignment: Rethinking Domain Generalization for Multimodal Face Anti-Spoofing [47.24147617685829]
  Face Anti-Spoofing (FAS) は、多様なシナリオにおける顔認識システムのセキュリティに不可欠である。 我々はtextbfMultitextbfmodal textbfDenoising と textbfAlignment (textbfMMDA) フレームワークを紹介する。 CLIPのゼロショット一般化機能を活用することで、MMDAフレームワークはマルチモーダルデータのノイズを効果的に抑制する。
  論文  参考訳（メタデータ） (2025-05-14T15:36:44Z)
• FUSION: Fully Integration of Vision-Language Representations for Deep Cross-Modal Understanding [42.00661579027648]
  マルチモーダルな大規模言語モデル(MLLM)のファミリーを紹介する。 我々は,ピクセルレベルの統合を実現するために,エンコーディングにテキスト情報を取り入れたテキストガイド統一ビジョンスーパーバイスを提案する。 我々は,新しいデータ合成手法を用いて,合成言語駆動質問応答データセットを構築した。
  論文  参考訳（メタデータ） (2025-04-14T06:33:29Z)
• Dense Multimodal Alignment for Open-Vocabulary 3D Scene Understanding [39.55810156545949]
  本稿では,多モードアライメント(Multimodal Alignment, DMA)フレームワークを提案する。 DMA法は,屋内および屋外の様々なタスクにおいて,高い競争力を持つオープン語彙セグメンテーション性能を実現する。
  論文  参考訳（メタデータ） (2024-07-13T05:39:17Z)
• GOV-NeSF: Generalizable Open-Vocabulary Neural Semantic Fields [50.68719394443926]
  Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF)は、オープン語彙意味論による3Dシーンの一般化可能な暗黙的表現を提供する新しいアプローチである。 GOV-NeSFは2次元および3次元のオープン語彙セマンティックセマンティックセグメンテーションにおいて最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-04-01T05:19:50Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。