論文の概要: MMMORRF: Multimodal Multilingual Modularized Reciprocal Rank Fusion

• arxiv url: http://arxiv.org/abs/2503.20698v1
• Date: Wed, 26 Mar 2025 16:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:09.988554
• Title: MMMORRF: Multimodal Multilingual Modularized Reciprocal Rank Fusion
• Title（参考訳）: MMMORRF:マルチモーダル多言語モジュール化相互ランクフュージョン
• Authors: Saron Samuel, Dan DeGenaro, Jimena Guallar-Blasco, Kate Sanders, Oluwaseun Eisape, Arun Reddy, Alexander Martin, Andrew Yates, Eugene Yang, Cameron Carpenter, David Etter, Efsun Kayi, Matthew Wiesner, Kenton Murray, Reno Kriz,
• Abstract要約: 視覚と音声の両モードからテキストや特徴を抽出する検索システムを構築した。 MMMORRFは効率的かつ効果的であり、ユーザの情報要求に基づいてビデオ検索の実用性を示す。
• 参考スコア（独自算出の注目度）: 44.45109614673675
• License:
• Abstract: Videos inherently contain multiple modalities, including visual events, text overlays, sounds, and speech, all of which are important for retrieval. However, state-of-the-art multimodal language models like VAST and LanguageBind are built on vision-language models (VLMs), and thus overly prioritize visual signals. Retrieval benchmarks further reinforce this bias by focusing on visual queries and neglecting other modalities. We create a search system MMMORRF that extracts text and features from both visual and audio modalities and integrates them with a novel modality-aware weighted reciprocal rank fusion. MMMORRF is both effective and efficient, demonstrating practicality in searching videos based on users' information needs instead of visual descriptive queries. We evaluate MMMORRF on MultiVENT 2.0 and TVR, two multimodal benchmarks designed for more targeted information needs, and find that it improves nDCG@20 by 81% over leading multimodal encoders and 37% over single-modality retrieval, demonstrating the value of integrating diverse modalities.
• Abstract（参考訳）: ビデオには、視覚イベント、テキストのオーバーレイ、音声、音声など、複数のモダリティが含まれており、これらすべてが検索に重要である。 しかしながら、VASTやLanguageBindのような最先端のマルチモーダル言語モデルは視覚言語モデル(VLM)上に構築されており、視覚信号の過度な優先順位付けを行う。 Retrievalベンチマークは、ビジュアルクエリに集中し、他のモダリティを無視して、このバイアスをさらに強化する。 我々は,視覚と音声の両モードからテキストや特徴を抽出する検索システムMMMORRFを作成し,それらを新たなモダリティ対応重み付き相互階調融合と統合する。 MMMORRFは効率的かつ効果的であり、視覚的な記述的クエリではなく、ユーザの情報に基づくビデオ検索の実用性を示す。 我々はMMMORRFをMultiVENT 2.0とTVRで評価し、よりターゲットとなる情報要求のために設計された2つのマルチモーダル・ベンチマークを行い、マルチモーダル・エンコーダをリードするよりもnDCG@20を81%改善し、シングルモーダル検索を37%改善し、多様なモダリティを統合する価値を実証した。

関連論文リスト

• Multi-modal Fusion and Query Refinement Network for Video Moment Retrieval and Highlight Detection [1.5236380958983644]
  ビデオと言語クエリーが与えられたとき、ビデオモーメント検索とハイライト検出(MR&HD)は、すべての関連するスパンを特定しながら、同時に唾液度スコアを予測することを目的としている。 既存のほとんどの方法はRGBイメージを入力として利用し、光学フローや深度マップのような本質的に多モードの視覚信号を見渡す。 本稿では,Multi-modal Fusion and Query Refinement Network (MRNet)を提案する。
  論文  参考訳（メタデータ） (2025-01-18T08:09:44Z)
• Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation [97.82707398481273]
  メタマルチモーダルフュージョン(MetaMMF)と呼ばれるメタラーニングに基づく新しいマルチモーダルフュージョンフレームワークを開発する。 メタMMFは、入力タスクのマルチモーダル特徴から抽出されたメタ情報に基づいて、メタラーナを介して、アイテム固有の融合関数としてニューラルネットワークをパラメータ化する。 我々は3つのベンチマークデータセットに対して広範な実験を行い、最先端のマルチモーダルレコメンデーションモデルに対する大幅な改善を実証した。
  論文  参考訳（メタデータ） (2025-01-13T07:51:43Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Multi-Modal Retrieval For Large Language Model Based Speech Recognition [15.494654232953678]
  我々は,kNN-LMとクロスアテンション手法の2つのアプローチによるマルチモーダル検索を提案する。 音声に基づくマルチモーダル検索はテキストベースの検索よりも優れていることを示す。 我々は,Spoken-Squad質問応答データセットを用いて,最先端の認識結果を得る。
  論文  参考訳（メタデータ） (2024-06-13T22:55:22Z)
• Mixture-of-Prompt-Experts for Multi-modal Semantic Understanding [7.329728566839757]
  ブロック認識型prompt Fusion (MoPE-BAF) を用いたMixture-of-prompt-Expertsを提案する。 MoPE-BAFは、統合視覚言語モデル(VLM)に基づく、新しいマルチモーダルソフトプロンプトフレームワークである。
  論文  参考訳（メタデータ） (2024-03-17T19:12:26Z)
• Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
  LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。 しかし、複数の画像を含む文脈を理解するには不十分である。 本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
  論文  参考訳（メタデータ） (2024-02-19T14:59:07Z)
• Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration [50.94902442781148]
  視覚情報,音声情報,テキスト情報をシームレスに統合する新しい多モード大言語モデル(LLM)を提案する。 Macaw-LLMは、マルチモーダルデータを符号化するモダリティモジュール、事前訓練されたLLMを利用する認知モジュール、多様な表現を調和させるアライメントモジュールの3つの主要コンポーネントから構成される。 我々は,69K画像インスタンスと50Kビデオインスタンスを含む,大規模なマルチモーダル・インストラクション・データセットを構築した。
  論文  参考訳（メタデータ） (2023-06-15T12:45:25Z)
• Named Entity and Relation Extraction with Multi-Modal Retrieval [51.660650522630526]
  マルチモーダルな名前付きエンティティ認識(NER)と関係抽出(RE)は、関連画像情報を活用してNERとREの性能を向上させることを目的としている。 新たなマルチモーダル検索フレームワーク(MoRe)を提案する。 MoReはテキスト検索モジュールと画像ベースの検索モジュールを含み、入力されたテキストと画像の関連知識をそれぞれ知識コーパスで検索する。
  論文  参考訳（メタデータ） (2022-12-03T13:11:32Z)
• MuMUR : Multilingual Multimodal Universal Retrieval [19.242056928318913]
  マルチ言語モデルからの知識伝達を利用して,マルチモーダル(画像とビデオ)検索の性能を向上させるフレームワーク MuMUR を提案する。 まず、最先端の機械翻訳モデルを用いて、擬似基底構造多言語視覚テキストペアを構築する。 次に、このデータを用いて、英語と非英語のテキストクエリが共通の埋め込み空間で表現される共同視覚テキスト表現を学習する。
  論文  参考訳（メタデータ） (2022-08-24T13:55:15Z)
• M2HF: Multi-level Multi-modal Hybrid Fusion for Text-Video Retrieval [34.343617836027725]
  本稿では,テキストクエリとビデオ中の各モダリティコンテンツ間の包括的相互作用を探索するマルチレベルマルチモーダルハイブリッドフュージョンネットワークを提案する。 私たちのフレームワークは,アンサンブルの方法とエンドツーエンドの方法を含む,2種類のトレーニング戦略を提供します。
  論文  参考訳（メタデータ） (2022-08-16T10:51:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。