論文の概要: MAMS: Model-Agnostic Module Selection Framework for Video Captioning

• arxiv url: http://arxiv.org/abs/2501.18269v1
• Date: Thu, 30 Jan 2025 11:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:58.428631
• Title: MAMS: Model-Agnostic Module Selection Framework for Video Captioning
• Title（参考訳）: MAMS:ビデオキャプションのためのモデルに依存しないモジュール選択フレームワーク
• Authors: Sangho Lee, Il Yong Chun, Hogun Park,
• Abstract要約: 既存のマルチモーダルビデオキャプション手法は、通常、一定数のフレームを抽出する。 本稿では,ビデオキャプションにおける最初のモデルに依存しないモジュール選択フレームワークを提案する。 提案手法は,最近の3つのビデオキャプションモデルの性能を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 11.442879458679144
• License:
• Abstract: Multi-modal transformers are rapidly gaining attention in video captioning tasks. Existing multi-modal video captioning methods typically extract a fixed number of frames, which raises critical challenges. When a limited number of frames are extracted, important frames with essential information for caption generation may be missed. Conversely, extracting an excessive number of frames includes consecutive frames, potentially causing redundancy in visual tokens extracted from consecutive video frames. To extract an appropriate number of frames for each video, this paper proposes the first model-agnostic module selection framework in video captioning that has two main functions: (1) selecting a caption generation module with an appropriate size based on visual tokens extracted from video frames, and (2) constructing subsets of visual tokens for the selected caption generation module. Furthermore, we propose a new adaptive attention masking scheme that enhances attention on important visual tokens. Our experiments on three different benchmark datasets demonstrate that the proposed framework significantly improves the performance of three recent video captioning models.
• Abstract（参考訳）: ビデオキャプションタスクでは,マルチモーダルトランスフォーマーが急速に注目を集めている。 既存のマルチモーダルビデオキャプション手法は、通常、一定数のフレームを抽出する。 限られた数のフレームが抽出されると、キャプション生成に必要な情報を持つ重要なフレームが見逃されることがある。 逆に、過剰な数のフレームを抽出することは連続したフレームを含み、連続したビデオフレームから抽出された視覚トークンの冗長性を引き起こす可能性がある。 本稿では,ビデオ毎に適切なフレーム数を抽出するために,(1)ビデオフレームから抽出したビジュアルトークンに基づいて適切な大きさのキャプション生成モジュールを選択すること,(2)選択したキャプション生成モジュールのサブセットを構築すること,という2つの主要な機能を持つ,ビデオキャプションにおける最初のモデルに依存しないモジュール選択フレームワークを提案する。 さらに,重要な視覚的トークンに注意を向ける適応型アダプティブアテンションマスキング手法を提案する。 提案手法は,最近の3つのビデオキャプションモデルの性能を大幅に向上させることを示す。

関連論文リスト

• Exploring the Design Space of Visual Context Representation in Video MLLMs [102.11582556690388]
  ビデオマルチモーダル大言語モデル(MLLM)は、様々な下流タスクでビデオセマンティクスを理解する際、顕著な能力を示した。 ビジュアルコンテキスト表現は、ビデオからフレームを選択し、フレームからトークンを更に選択するスキームを指す。 本稿では,視覚的文脈表現のための設計空間について検討し,より効率的な表現方式を見出すことにより,映像MLLMの性能向上を目指す。
  論文  参考訳（メタデータ） (2024-10-17T15:59:52Z)
• Learning text-to-video retrieval from image captioning [59.81537951811595]
  本稿では,未収録ビデオを用いたテキスト・ビデオ検索訓練のプロトコルについて述べる。 i) ビデオのラベルにアクセスできず、(ii) テキスト形式でラベル付き画像にアクセスすると仮定する。 画像キャプションによるビデオフレームの自動ラベル付けにより,テキスト対ビデオ検索のトレーニングが可能になることを示す。
  論文  参考訳（メタデータ） (2024-04-26T15:56:08Z)
• A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video [20.579167394855197]
  本稿では,タスクの訓練と評価を行うためのマルチモーダル映像要約タスク設定とデータセットを提案する。 対象のタスクは、所定のビデオを複数のキャプチャペアに要約し、それらをリスト可能な形式で表示して、ビデオコンテンツを素早く把握することである。 この課題は実践的な応用として有用であり、研究に値する極めて困難な問題を提示している。
  論文  参考訳（メタデータ） (2023-12-04T02:17:14Z)
• VideoBooth: Diffusion-based Video Generation with Image Prompts [130.47771531413375]
  画像プロンプトを用いた映像生成のためのフィードフォワードフレームワークを提案する。 VideoBoothは、画像プロンプトに指定された被写体でカスタマイズされた高品質なビデオを生成する際に、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T18:55:40Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• Multimodal Frame-Scoring Transformer for Video Summarization [4.266320191208304]
  MFST(Multimodal Frame-Scoring Transformer)フレームワークは、視覚的、テキスト、オーディオ機能を利用して、フレームに関するビデオをスコアする。 MFSTフレームワークは、事前に訓練されたエンコーダを用いて、まず各モダリティ特徴(視覚-テキスト-オーディオ)を抽出する。 MFSTは、ビデオテキスト・オーディオ表現を入力として使用し、フレームレベルのスコアを予測するマルチモーダル・フレーム・スコリング・トランスフォーマーを訓練する。
  論文  参考訳（メタデータ） (2022-07-05T05:14:15Z)
• Show Me What and Tell Me How: Video Synthesis via Multimodal Conditioning [36.85533835408882]
  本研究は,テキストと画像を共同あるいは別々に提供するマルチモーダルビデオ生成フレームワークを提案する。 本稿では,自己学習で訓練した新しいビデオトークンと,ビデオトークンをサンプリングするためのマスク予測アルゴリズムを提案する。 我々のフレームワークは、セグメンテーションマスク、描画、部分閉塞画像など、様々な視覚的モダリティを組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-04T21:09:13Z)
• End-to-end Generative Pretraining for Multimodal Video Captioning [82.79187814057313]
  本稿では,未学習ビデオから学習するための新しい事前学習フレームワークであるMV-GPTを提案する。 最近のビデオ言語事前学習フレームワークとは異なり、我々のフレームワークはマルチモーダルビデオエンコーダと文デコーダを共同で訓練する。 本モデルは,4つの標準ベンチマークによるマルチモーダルビデオキャプションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-01-20T16:16:21Z)
• SwinBERT: End-to-End Transformers with Sparse Attention for Video Captioning [40.556222166309524]
  ビデオキャプションのためのエンドツーエンドトランスフォーマーモデルであるSwinBERTを提案する。 提案手法では,ビデオ入力の可変長に適応可能な空間時間表現を符号化するために,ビデオトランスフォーマを採用している。 このモデルアーキテクチャに基づいて,より密集したビデオフレームの映像キャプションが有用であることを示す。
  論文  参考訳（メタデータ） (2021-11-25T18:02:12Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。