論文の概要: CFSum: A Transformer-Based Multi-Modal Video Summarization Framework With Coarse-Fine Fusion

• arxiv url: http://arxiv.org/abs/2503.00364v1
• Date: Sat, 01 Mar 2025 06:13:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:19:16.447629
• Title: CFSum: A Transformer-Based Multi-Modal Video Summarization Framework With Coarse-Fine Fusion
• Title（参考訳）: CFSum: 粗いフィン融合によるトランスフォーマーベースのマルチモーダルビデオ要約フレームワーク
• Authors: Yaowei Guo, Jiazheng Xing, Xiaojun Hou, Shuo Xin, Juntao Jiang, Demetri Terzopoulos, Chenfanfu Jiang, Yong Liu,
• Abstract要約: CFSumは、粗い微細融合を伴うトランスフォーマーベースのマルチモーダルビデオ要約フレームワークである。 CFSumはビデオ、テキスト、オーディオのモーダル機能を入力として利用し、2段階のトランスフォーマーベースの機能融合フレームワークを組み込んでいる。
• 参考スコア（独自算出の注目度）: 22.58710742780161
• License:
• Abstract: Video summarization, by selecting the most informative and/or user-relevant parts of original videos to create concise summary videos, has high research value and consumer demand in today's video proliferation era. Multi-modal video summarization that accomodates user input has become a research hotspot. However, current multi-modal video summarization methods suffer from two limitations. First, existing methods inadequately fuse information from different modalities and cannot effectively utilize modality-unique features. Second, most multi-modal methods focus on video and text modalities, neglecting the audio modality, despite the fact that audio information can be very useful in certain types of videos. In this paper we propose CFSum, a transformer-based multi-modal video summarization framework with coarse-fine fusion. CFSum exploits video, text, and audio modal features as input, and incorporates a two-stage transformer-based feature fusion framework to fully utilize modality-unique information. In the first stage, multi-modal features are fused simultaneously to perform initial coarse-grained feature fusion, then, in the second stage, video and audio features are explicitly attended with the text representation yielding more fine-grained information interaction. The CFSum architecture gives equal importance to each modality, ensuring that each modal feature interacts deeply with the other modalities. Our extensive comparative experiments against prior methods and ablation studies on various datasets confirm the effectiveness and superiority of CFSum.
• Abstract（参考訳）: ビデオ要約は、オリジナルビデオの最も情報に富んだ/またはユーザに関連する部分を選択して簡潔な要約ビデオを作成することで、今日のビデオ拡散時代における研究価値と消費者の需要が高い。 ユーザ入力を連想させるマルチモーダルビデオ要約は研究ホットスポットとなっている。 しかし、現在のマルチモーダルビデオ要約法には2つの制限がある。 第一に、既存の手法では、異なるモダリティから情報を取り出すのが不十分であり、モダリティ・ユニキの特徴を効果的に活用できない。 第二に、多くのマルチモーダル手法はビデオやテキストのモダリティに重点を置いており、音声情報はある種のビデオで非常に有用であるにもかかわらず、オーディオのモダリティを無視している。 本稿では,粗粒核融合を用いた変圧器を用いたマルチモーダルビデオ要約フレームワークCFSumを提案する。 CFSumは、ビデオ、テキスト、オーディオのモーダル機能を入力として利用し、2段階のトランスフォーマーベースの機能融合フレームワークを組み込んで、モダリティ・ユニク情報を完全に活用する。 第1段階では、マルチモーダルな特徴を同時に融合させて初期粗粒度の特徴融合を行い、第2段階では、ビデオとオーディオの特徴を、よりきめ細かい情報相互作用をもたらすテキスト表現に明示的に対応させる。 CFSumアーキテクチャは各モダリティに等しく重要であり、各モダリティが他のモダリティと深く相互作用することを保証する。 本研究は, CFSumの有効性と優位性を検証し, 先行手法と各種データセットのアブレーション実験との比較実験を行った。

関連論文リスト

• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities [67.89368528234394]
  マルチモーダル学習の主な課題の1つは、異質なモダリティを組み合わせる必要があることである。 ビデオとオーディオはテキストよりもはるかに高いレートで取得され、ほぼ時間内に整列される。 我々の手法は、確立されたマルチモーダルベンチマークの最先端性を達成し、はるかに大きなモデルより優れている。
  論文  参考訳（メタデータ） (2023-11-09T19:15:12Z)
• Causal Video Summarizer for Video Exploration [74.27487067877047]
  Causal Video Summarizer (CVS) はビデオとクエリ間の対話的な情報をキャプチャするために提案されている。 既存のマルチモーダル映像要約データセットの評価から,提案手法が有効であることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2023-07-04T22:52:16Z)
• M2HF: Multi-level Multi-modal Hybrid Fusion for Text-Video Retrieval [34.343617836027725]
  本稿では,テキストクエリとビデオ中の各モダリティコンテンツ間の包括的相互作用を探索するマルチレベルマルチモーダルハイブリッドフュージョンネットワークを提案する。 私たちのフレームワークは,アンサンブルの方法とエンドツーエンドの方法を含む,2種類のトレーニング戦略を提供します。
  論文  参考訳（メタデータ） (2022-08-16T10:51:37Z)
• Multimodal Frame-Scoring Transformer for Video Summarization [4.266320191208304]
  MFST(Multimodal Frame-Scoring Transformer)フレームワークは、視覚的、テキスト、オーディオ機能を利用して、フレームに関するビデオをスコアする。 MFSTフレームワークは、事前に訓練されたエンコーダを用いて、まず各モダリティ特徴(視覚-テキスト-オーディオ)を抽出する。 MFSTは、ビデオテキスト・オーディオ表現を入力として使用し、フレームレベルのスコアを予測するマルチモーダル・フレーム・スコリング・トランスフォーマーを訓練する。
  論文  参考訳（メタデータ） (2022-07-05T05:14:15Z)
• Everything at Once -- Multi-modal Fusion Transformer for Video Retrieval [36.50847375135979]
  ビデオデータからのマルチモーダル学習は、人間のアノテーションを使わずに意味のある埋め込みを訓練できるため、近年注目を集めている。 本稿では,ビデオ,音声,テキストなどの複数のモーダル間の情報交換を学習し,それらを結合したマルチモーダル表現に統合するマルチモーダル・モーダル融合トランスフォーマ手法を提案する。
  論文  参考訳（メタデータ） (2021-12-08T18:14:57Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)
• AudioVisual Video Summarization [103.47766795086206]
  ビデオ要約では、既存のアプローチは音声情報を無視しながら視覚情報を利用するだけだ。 本稿では,映像要約作業における音声情報と視覚情報を協調的に活用し,これを実現するためにAVRN(AudioVisual Recurrent Network)を開発することを提案する。
  論文  参考訳（メタデータ） (2021-05-17T08:36:10Z)
• GPT2MVS: Generative Pre-trained Transformer-2 for Multi-modal Video Summarization [18.543372365239673]
  提案モデルは,コンテキスト化された映像要約制御器,マルチモーダルアテンション機構,対話型アテンションネットワーク,映像要約生成器から構成される。 その結果, 最新手法と比較して, 精度5.88%, F1スコアが4.06%上昇し, このモデルが有効であることが示された。
  論文  参考訳（メタデータ） (2021-04-26T10:50:37Z)
• Multi-modal Transformer for Video Retrieval [67.86763073161012]
  ビデオの様々なモードを共同で符号化するマルチモーダルトランスを提案する。 自然言語に関しては,マルチモーダル変換器と組み合わさった言語を最適化するベストプラクティスについて検討する。 この新たなフレームワークにより,3つのデータセット上での映像検索の最先端化が可能となる。
  論文  参考訳（メタデータ） (2020-07-21T07:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。