論文の概要: MAGMaR Shared Task System Description: Video Retrieval with OmniEmbed

• arxiv url: http://arxiv.org/abs/2506.09409v1
• Date: Wed, 11 Jun 2025 05:40:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.517363
• Title: MAGMaR Shared Task System Description: Video Retrieval with OmniEmbed
• Title（参考訳）: MAGMaR共有タスクシステム記述:OmniEmbedによるビデオ検索
• Authors: Jiaqi Samantha Zhan, Crystina Zhang, Shengyao Zhuang, Xueguang Ma, Jimmy Lin,
• Abstract要約: 我々はTevatron 2.0ツールキットの強力なマルチモーダル埋め込みモデルであるOmniEmbedを使用して、テキスト、画像、オーディオ、ビデオの統一埋め込みを生成する。 2025年5月20日時点の公募では、MAGMaRのタスクリーダーボードの最高スコアを達成しました。
• 参考スコア（独自算出の注目度）: 55.526939500742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective video retrieval remains challenging due to the complexity of integrating visual, auditory, and textual modalities. In this paper, we explore unified retrieval methods using OmniEmbed, a powerful multimodal embedding model from the Tevatron 2.0 toolkit, in the context of the MAGMaR shared task. Evaluated on the comprehensive MultiVENT 2.0 dataset, OmniEmbed generates unified embeddings for text, images, audio, and video, enabling robust multimodal retrieval. By finetuning OmniEmbed with the combined multimodal data--visual frames, audio tracks, and textual descriptions provided in MultiVENT 2.0, we achieve substantial improvements in complex, multilingual video retrieval tasks. Our submission achieved the highest score on the MAGMaR shared task leaderboard among public submissions as of May 20th, 2025, highlighting the practical effectiveness of our unified multimodal retrieval approach. Model checkpoint in this work is opensourced.
• Abstract（参考訳）: 視覚、聴覚、テキストのモダリティの統合の複雑さのため、効果的なビデオ検索は依然として困難である。 本稿では、MAGMaR共有タスクのコンテキストにおいて、Tevatron 2.0ツールキットからの強力なマルチモーダル埋め込みモデルであるOmniEmbedを用いた統一検索手法について検討する。 包括的なMultiVENT 2.0データセットに基づいて、OmniEmbedはテキスト、画像、オーディオ、ビデオの統一埋め込みを生成し、堅牢なマルチモーダル検索を可能にする。 OmniEmbedをMultiVENT 2.0で提供される視覚的フレーム、オーディオトラック、テキスト記述と組み合わせることで、複雑な多言語ビデオ検索タスクを大幅に改善する。 2025年5月20日時点では、MAGMaRのタスク・リーダーボードで最高得点を達成し、統合マルチモーダル検索の実践的効果を強調した。 この作業のモデルチェックポイントはオープンソースです。

関連論文リスト

• CLaMR: Contextualized Late-Interaction for Multimodal Content Retrieval [70.9990850395981]
  CLaMRは、ビデオフレーム、書き起こされた音声、画面上のテキスト、メタデータの4つのモダリティを共同でインデックスするマルチモーダルな遅延相互作用レトリバーである。 CLaMRは2つの重要な革新を通じて動的モダリティ選択を強化するために訓練されている。
  論文  参考訳（メタデータ） (2025-06-06T15:02:30Z)
• OmniMMI: A Comprehensive Multi-modal Interaction Benchmark in Streaming Video Contexts [46.77966058862399]
  我々は,OmniLLMs用に最適化された総合マルチモーダルインタラクションベンチマークであるOmniMMIを紹介する。 本稿では,マルチモーダル・マルチプレクサリング・モデリング(M4)を提案する。
  論文  参考訳（メタデータ） (2025-03-29T02:46:58Z)
• MMMORRF: Multimodal Multilingual Modularized Reciprocal Rank Fusion [43.725594356981254]
  視覚と音声の両モードからテキストや特徴を抽出する検索システムを構築した。 MMMORRFは効率的かつ効果的であり、ユーザの情報要求に基づいてビデオ検索の実用性を示す。
  論文  参考訳（メタデータ） (2025-03-26T16:28:04Z)
• MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval [57.891157692501345]
  $textbfMultiVENT 2.0$は、大規模かつ多言語なイベント中心のビデオ検索ベンチマークである。 218,000以上のニュースビデオと、特定の世界イベントを対象とした3,906のクエリが提供されている。 予備的な結果は、最先端のビジョン言語モデルは、この課題にかなり苦労していることを示している。
  論文  参考訳（メタデータ） (2024-10-15T13:56:34Z)
• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• M2HF: Multi-level Multi-modal Hybrid Fusion for Text-Video Retrieval [34.343617836027725]
  本稿では,テキストクエリとビデオ中の各モダリティコンテンツ間の包括的相互作用を探索するマルチレベルマルチモーダルハイブリッドフュージョンネットワークを提案する。 私たちのフレームワークは,アンサンブルの方法とエンドツーエンドの方法を含む,2種類のトレーニング戦略を提供します。
  論文  参考訳（メタデータ） (2022-08-16T10:51:37Z)
• VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles [63.32111010686954]
  マルチモーダル出力(VMSMO)を用いたビデオベースマルチモーダル要約の課題を提案する。 このタスクの主な課題は、ビデオの時間的依存性と記事の意味を共同でモデル化することである。 本稿では,デュアルインタラクションモジュールとマルチモーダルジェネレータからなるDual-Interaction-based Multimodal Summarizer (DIMS)を提案する。
  論文  参考訳（メタデータ） (2020-10-12T02:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。