Fugu-MT 論文翻訳(概要): Omni-Interactive Universal Embedder

論文の概要: Omni-Interactive Universal Embedder

arxiv url: http://arxiv.org/abs/2608.27044v1
Date: Thu, 27 Aug 2026 12:31:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.40058
Title: Omni-Interactive Universal Embedder
Title（参考訳）: Omni-Interactive Universal Embedder
Abstract要約: 我々は,最初のOmni-Interactive Universal Embedder (OmniUE)を提案する。専用の学習可能なトークンから中間層表現を活用することで、テキスト、ビデオ、オーディオにまたがる統一的な埋め込み空間を学習する。また、Omni-Interactive queryingをサポートしており、テキスト、興味のある視覚領域、オーディオスパンなどの形式で入力を提供することができる。
参考スコア（独自算出の注目度）: 36.73317890827303
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multimodal representation learning has been shifting from traditional two-tower architectures to large language model (LLM)-based embedders due to their strong instruction-following capabilities. Despite this progress, existing approaches primarily focus on language and image modalities, which also remain the dominant modalities for user-conditioned interactions in current embedders. In this paper, we propose the first Omni-Interactive Universal Embedder (OmniUE), which not only learns a unified embedding space across text, video, and audio by leveraging intermediate-layer representations from dedicated learnable tokens, but also supports omni-interactive querying, enabling users to provide inputs in the form of text, visual regions of interest, and audio spans. Within OmniUE, visual and audio segmenters process diverse user interactions and integrate them with an omni-LLM to produce user-conditioned any-to-any embeddings via context aggregation. To evaluate OmniUE's omni-interactive capabilities, we introduce OmniCHOIR, benchmarking models for omni-interactive compositional audio retrieval based on the given text, video, and audio as well as unimodal or multimodal interaction prompts. OmniUE consistently surpasses state-of-the-art baselines across diverse modalities, with average improvements of 10.5% on textual-interactive video benchmarks (MMEB-v2-video), 1.1% on audio tasks (MAEB), 83.7% on visual-interactive benchmarks (SCaR), and 24.1% on our omni-interactive OmniCHOIR benchmark. We believe that jointly advancing omni-modal representation learning and omni-interactive querying paves the way toward universal embedders.
Abstract（参考訳）: マルチモーダル表現学習は、命令追従能力の強いため、従来の2towerアーキテクチャから大規模言語モデル(LLM)ベースの埋め込みに移行してきた。この進歩にもかかわらず、既存のアプローチは主に言語と画像のモダリティに焦点を合わせており、これは現在の組込み機におけるユーザ-条件の相互作用における支配的なモダリティでもある。本稿では,Omni-Interactive Universal Embedder (OmniUE) を提案する。本論文では,テキスト,ビデオ,オーディオ間の統合埋め込み空間を,専用トークンから中間層表現を活用することによって学習するだけでなく,Omni-Interactive querying もサポートする。 OmniUE内では、視覚とオーディオのセグメンタが多様なユーザインタラクションを処理し、それをOmni-LLMと統合し、コンテキストアグリゲーションを介してユーザ条件の任意の埋め込みを生成する。 OmniUEのOmni-interactive機能を評価するために、OmniCHOIRを導入する。 OmniUEは、さまざまなモードにわたる最先端のベースラインを一貫して上回り、平均的な改善はテキスト対話型ビデオベンチマーク(MMEB-v2-video)で10.5%、オーディオタスク(MAEB)で1.1%、ビジュアル対話型ベンチマーク(SCaR)で83.7%、オムニ対話型OmniCHOIRベンチマークで24.1%である。我々は,Omni-Modal Expression LearningとOmni-Interactive queryingを共同で進めることで,普遍的な埋め込みへの道が開けると考えている。

関連論文リスト

Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation [93.44732526074876]
複数のアイデンティティの正確なバインディングとシームレスな融合を目的としたエンドツーエンドフレームワークを提案する。本アーキテクチャでは,セマンティックアンコール型マルチモーダルロ (SA-MRo) を用いて,視覚的および音声的参照トークンとTS埋め込みを対応する意味記述に固定する。実験により、Omni-Contextはデュアルモーダルなカスタマイズ生成において最先端のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2026-05-17T14:56:52Z)
Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文参考訳（メタデータ） (2025-10-11T06:36:59Z)
Omni-Embed-Nemotron: A Unified Multimodal Retrieval Model for Text, Image, Audio, and Video [5.732421858297378]
Omni-Embed-Nemotronは,実世界の情報ニーズの複雑化に対応するために開発された,統合型マルチモーダル検索埋め込みモデルである。我々は,Omni-Embed-Nemotronのアーキテクチャ,トレーニング設定,評価結果を記述し,テキスト,画像,ビデオ検索においてその有効性を示す。
論文参考訳（メタデータ） (2025-10-03T19:29:50Z)
Towards Omnimodal Expressions and Reasoning in Referring Audio-Visual Segmentation [68.4547223233201]
提案するOmnimodal Referring Audio-Visual Expression (OmniAVS) は,2,104ビデオと61,095マルチモーダル参照式を含む新しいデータセットである。 OmniAVS は,(1) テキスト,音声,音声,視覚的手がかりを柔軟に組み合わせた8種類のマルチモーダル表現,(2) 存在を検出すること以上の音声コンテンツを理解することを重視すること,(3) 複雑な推論を表現に含めること,の3つの重要なイノベーションを指摘した。
論文参考訳（メタデータ） (2025-07-30T17:59:31Z)
MAGMaR Shared Task System Description: Video Retrieval with OmniEmbed [55.526939500742]
我々はTevatron 2.0ツールキットの強力なマルチモーダル埋め込みモデルであるOmniEmbedを使用して、テキスト、画像、オーディオ、ビデオの統一埋め込みを生成する。 2025年5月20日時点の公募では、MAGMaRのタスクリーダーボードの最高スコアを達成しました。
論文参考訳（メタデータ） (2025-06-11T05:40:26Z)
OmniTalker: One-shot Real-time Text-Driven Talking Audio-Video Generation With Multimodal Style Mimicking [22.337906095079198]
我々はOmniTalkerについて述べる。OmniTalkerは、入力テキストから同期音声ビデオコンテンツを共同で生成する統合フレームワークである。本フレームワークは,2分岐拡散変換器(DiT)アーキテクチャを採用し,一方は音声生成に,もう一方はビデオ合成に用いている。
論文参考訳（メタデータ） (2025-04-03T09:48:13Z)
OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs [6.365802395342737]
ゼロショット感情認識タスクにおける4つのオムニ-LLMの最初の体系的評価であるOmniVoxを提案する。我々は、IEMOCAPとMELDの2つの広く使われているマルチモーダル感情ベンチマークを評価し、ゼロショットのOmni-LLMが優れているか、微調整されたオーディオモデルと競合するかを見出した。本稿では、音響特徴分析、会話コンテキスト分析、ステップバイステップ推論に焦点を当てた、オムニ-LLMの音声特異的プロンプト戦略である音響プロンプトについて述べる。
論文参考訳（メタデータ） (2025-03-27T13:12:49Z)
OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
論文参考訳（メタデータ） (2024-09-23T17:59:05Z)
Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文参考訳（メタデータ） (2024-03-15T17:23:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。