論文の概要: MERVIN: A Unified Framework for Multimodal Event Retrieval in Vietnamese News Videos
- arxiv url: http://arxiv.org/abs/2605.16120v1
- Date: Fri, 15 May 2026 16:02:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 17:44:16.35129
- Title: MERVIN: A Unified Framework for Multimodal Event Retrieval in Vietnamese News Videos
- Title（参考訳）: MERVIN:ベトナムのニュースビデオにおけるマルチモーダルイベント検索のための統一フレームワーク
- Authors: Anh-Tai Pham-Nguyen, Tung-Duong Le-Duc, Anh-Duy Le, Trung-Hieu Truong-Le,
- Abstract要約: ベトナムのニュースビデオのための統合マルチモーダルフレームワークMERVINを提案する。
視覚的特徴は知覚によって抽出され、ベトナム語モデルはテキスト埋め込みを生成する。
MerVINはAI Challenge HCMC 2025の資格フェーズで88ポイント中79ポイントを獲得し、クエリ毎にすべての結果を取得することに成功した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growth of online video platforms drives the need for effective, semantically grounded event retrieval. We present MERVIN, a unified multimodal framework for Vietnamese news videos that integrates keyframes, transcripts, and video summaries. Transcript quality is enhanced via Gemini 1.5 Flash, reducing noise from accents, background sounds, and recognition errors. Visual features are extracted with Perception Encoder, while a Vietnamese language model produces textual embeddings; both are indexed in Milvus for efficient similarity-based retrieval. In addition, a React-based interface enables iterative query refinement across modalities, improving semantic alignment. Experimental results on Vietnamese news videos demonstrate the effectiveness of the proposed system, with MERVIN achieving 79 out of 88 points in AI Challenge HCMC 2025 qualification phase and successfully retrieved all results for every query in the final round.
- Abstract（参考訳）: オンラインビデオプラットフォームの成長は、効果的なセマンティックなイベント検索の必要性を促している。
本稿では,ベトナムのニュースビデオ用統合マルチモーダルフレームワークであるMERVINについて紹介する。
トランスクリプトの品質はGemini 1.5 Flashを通じて向上し、アクセントやバックグラウンドサウンド、認識エラーからのノイズを低減している。
視覚的特徴は知覚エンコーダ(Perception Encoder)で抽出され、ベトナム語モデルはテキスト埋め込みを生成する。
さらに、Reactベースのインターフェースにより、モジュール間の反復的なクエリ改善が可能になり、セマンティックアライメントが改善される。
ベトナムのニュースビデオにおける実験結果は,AI Challenge HCMC 2025の認定段階において,MERVINが88点中79点を達成し,最終ラウンドにおける全てのクエリに対するすべての結果の検索に成功していることを示す。
関連論文リスト
- ViMedCSS: A Vietnamese Medical Code-Switching Speech Dataset & Benchmark [7.798521826811972]
コードスイッチング(英語: Code-switching, CS)とは、ベトナム語が薬物名や手続きなどの英語の言葉を使用する場合である。
現在の自動音声認識システムは、ベトナム語の文の中で正しい英語の医学用語を認識するのに苦労している。
この研究はベトナムの医療コードスイッチングのための最初のベンチマークを提供する。
論文 参考訳（メタデータ） (2026-02-13T13:17:16Z) - Repeating Words for Video-Language Retrieval with Coarse-to-Fine Objectives [93.31112073070906]
既存の方法はビデオ検索性能を向上させるために大規模な事前学習に依存している。
そこで我々は,より微粒な特徴を学習し,アライメントを改善するための新しいフレームワークを提案する。
追加のトレーニングなしでパフォーマンスを改善するための推論パイプラインも導入しています。
論文 参考訳（メタデータ） (2025-08-20T16:03:56Z) - Dense Video Captioning using Graph-based Sentence Summarization [80.52481563888459]
本稿では,高密度映像キャプションのためのグラフベースの分割・要約フレームワークを提案する。
本稿では,要約の段階に着目し,要約のための意味語間の関係を効果的に活用する枠組みを提案する。
論文 参考訳（メタデータ） (2025-06-25T16:23:43Z) - MMMORRF: Multimodal Multilingual Modularized Reciprocal Rank Fusion [43.725594356981254]
視覚と音声の両モードからテキストや特徴を抽出する検索システムを構築した。
MMMORRFは効率的かつ効果的であり、ユーザの情報要求に基づいてビデオ検索の実用性を示す。
論文 参考訳（メタデータ） (2025-03-26T16:28:04Z) - MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval [57.891157692501345]
$textbfMultiVENT 2.0$は、大規模かつ多言語なイベント中心のビデオ検索ベンチマークである。
218,000以上のニュースビデオと、特定の世界イベントを対象とした3,906のクエリが提供されている。
予備的な結果は、最先端のビジョン言語モデルは、この課題にかなり苦労していることを示している。
論文 参考訳（メタデータ） (2024-10-15T13:56:34Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:19:24Z) - Dynamic Graph Representation Learning for Video Dialog via Multi-Modal
Shuffled Transformers [89.00926092864368]
音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。
また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。
その結果,全ての評価指標について最先端の性能を示すことができた。
論文 参考訳（メタデータ） (2020-07-08T02:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。