論文の概要: EVC-MF: End-to-end Video Captioning Network with Multi-scale Features

• arxiv url: http://arxiv.org/abs/2410.16624v1
• Date: Tue, 22 Oct 2024 02:16:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:11.369746
• Title: EVC-MF: End-to-end Video Captioning Network with Multi-scale Features
• Title（参考訳）: EVC-MF:マルチスケール機能付きエンドツーエンドビデオキャプションネットワーク
• Authors: Tian-Zi Niu, Zhen-Duo Chen, Xin Luo, Xin-Shun Xu,
• Abstract要約: 本稿では,ビデオキャプションのためのエンド・ツー・エンドエンコーダ・デコーダ・ネットワーク(EVC-MF)を提案する。 マルチスケールの視覚的特徴とテキスト的特徴を効果的に利用し、ビデオ記述を生成する。 その結果,EVC-MFは最先端技術に比べて競争性能が高いことがわかった。
• 参考スコア（独自算出の注目度）: 13.85795110061781
• License:
• Abstract: Conventional approaches for video captioning leverage a variety of offline-extracted features to generate captions. Despite the availability of various offline-feature-extractors that offer diverse information from different perspectives, they have several limitations due to fixed parameters. Concretely, these extractors are solely pre-trained on image/video comprehension tasks, making them less adaptable to video caption datasets. Additionally, most of these extractors only capture features prior to the classifier of the pre-training task, ignoring a significant amount of valuable shallow information. Furthermore, employing multiple offline-features may introduce redundant information. To address these issues, we propose an end-to-end encoder-decoder-based network (EVC-MF) for video captioning, which efficiently utilizes multi-scale visual and textual features to generate video descriptions. Specifically, EVC-MF consists of three modules. Firstly, instead of relying on multiple feature extractors, we directly feed video frames into a transformer-based network to obtain multi-scale visual features and update feature extractor parameters. Secondly, we fuse the multi-scale features and input them into a masked encoder to reduce redundancy and encourage learning useful features. Finally, we utilize an enhanced transformer-based decoder, which can efficiently leverage shallow textual information, to generate video descriptions. To evaluate our proposed model, we conduct extensive experiments on benchmark datasets. The results demonstrate that EVC-MF yields competitive performance compared with the state-of-theart methods.
• Abstract（参考訳）: 従来のビデオキャプションのアプローチでは、さまざまなオフライン抽出機能を活用してキャプションを生成する。 さまざまな視点から多様な情報を提供するさまざまなオフライン機能エクストラクタが利用可能であるにもかかわらず、固定パラメータによるいくつかの制限がある。 具体的には、これらの抽出器は画像やビデオの理解タスクにのみ事前訓練されているため、ビデオキャプションデータセットへの適応性が低下する。 さらに、これらの抽出器のほとんどは、事前訓練タスクの分類前の特徴のみをキャプチャし、かなりの量の貴重な浅瀬情報を無視している。 さらに、複数のオフライン機能を利用することで、冗長な情報を導入することができる。 これらの課題に対処するため,ビデオキャプションのためのエンド・ツー・エンドエンコーダ・デコーダ・ネットワーク(EVC-MF)を提案する。 具体的には、ECV-MFは3つのモジュールから構成される。 まず,複数の特徴抽出器に頼る代わりに,映像フレームを直接トランスフォーマーベースネットワークに供給し,マルチスケールな視覚的特徴と特徴抽出器パラメータの更新を行う。 次に,マルチスケールな特徴を融合させてマスク付きエンコーダに入力し,冗長性を低減し,有用な特徴の学習を促進する。 最後に、浅いテキスト情報を効率的に活用できる拡張トランスフォーマーベースのデコーダを用いて、映像記述を生成する。 提案モデルを評価するため,ベンチマークデータセットについて広範な実験を行った。 その結果,EVC-MFは最先端技術に比べて競争性能が高いことがわかった。

関連論文リスト

• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• TAM-VT: Transformation-Aware Multi-scale Video Transformer for Segmentation and Tracking [33.75267864844047]
  ビデオオブジェクト(VOS)は、より大きなデータセットとより複雑で現実的な設定が利用できるという、ますます重要な問題として現れています。 本稿では,上記の課題を体系的に分析し,対処することを目的とした,クリップ型DETR方式のエンコーダデコーダアーキテクチャを提案する。 具体的には、物体が大きな変形を受ける映像の一部に学習を集中させる新しい変換認識損失を提案する。
  論文  参考訳（メタデータ） (2023-12-13T21:02:03Z)
• Video Infringement Detection via Feature Disentanglement and Mutual Information Maximization [51.206398602941405]
  本稿では,元の高次元特徴を複数のサブ機能に分解することを提案する。 歪んだサブ機能の上に,サブ機能を強化する補助的特徴を学習する。 提案手法は,大規模SVDデータセット上で90.1%のTOP-100 mAPを達成し,VCSLベンチマークデータセット上で新たな最先端を設定できる。
  論文  参考訳（メタデータ） (2023-09-13T10:53:12Z)
• Video-based Person Re-identification with Long Short-Term Representation Learning [101.62570747820541]
  ビデオベースの人物再識別(V-ReID)は、オーバーラップしないカメラで撮影した生のビデオから特定の人物を回収することを目的としている。 本稿では,V-ReIDのためのLong Short-Term Representation Learning(LSTRL)という新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-07T16:22:47Z)
• VLAB: Enhancing Video Language Pre-training by Feature Adapting and Blending [78.1399386935455]
  CLIPのような大規模画像テキストコントラスト事前学習モデルは、高品質なマルチモーダル表現を効果的に学習することが実証されている。 本稿では,VLAB(VLAB: Video Language pre-training by feature generativeality and Blending)という新しいビデオテキスト事前学習手法を提案する。 VLABはCLIP表現をビデオ事前訓練タスクに転送し、幅広いビデオテキストタスクのための統合ビデオマルチモーダルモデルを開発する。
  論文  参考訳（メタデータ） (2023-05-22T15:54:22Z)
• MED-VT++: Unifying Multimodal Learning with a Multiscale Encoder-Decoder Video Transformer [12.544216587327387]
  本稿では,ビデオ中の高密度な予測タスクに着目した,エンドツーエンドのトレーニング可能なマルチスケールエンコーダ・デコーダ変換器を提案する。 提示されたMED-VT(Multiscale-Decoder Video)は、ビデオ全体にわたってマルチスケール表現を使用し、ビデオ以外の任意の入力を使用する。 本稿では,時間的に一貫したビデオ予測を提供するため,多対多のラベル伝搬によるトランスダクティブ学習方式を提案する。
  論文  参考訳（メタデータ） (2023-04-12T15:50:19Z)
• Multimodal Frame-Scoring Transformer for Video Summarization [4.266320191208304]
  MFST(Multimodal Frame-Scoring Transformer)フレームワークは、視覚的、テキスト、オーディオ機能を利用して、フレームに関するビデオをスコアする。 MFSTフレームワークは、事前に訓練されたエンコーダを用いて、まず各モダリティ特徴(視覚-テキスト-オーディオ)を抽出する。 MFSTは、ビデオテキスト・オーディオ表現を入力として使用し、フレームレベルのスコアを予測するマルチモーダル・フレーム・スコリング・トランスフォーマーを訓練する。
  論文  参考訳（メタデータ） (2022-07-05T05:14:15Z)
• Variational Stacked Local Attention Networks for Diverse Video Captioning [2.492343817244558]
  変動重畳ローカルアテンションネットワークは、低ランク双線形プールを自己注意的特徴相互作用に活用する。 構文と多様性の観点から,MSVD と MSR-VTT のデータセット上で VSLAN を評価する。
  論文  参考訳（メタデータ） (2022-01-04T05:14:34Z)
• Self-Supervised MultiModal Versatile Networks [76.19886740072808]
  我々は、ビデオに自然に存在する3つのモダリティ(ビジュアル、オーディオ、言語ストリーム)を活用することで、自己スーパービジョンを用いて表現を学習する。 ビデオ, ビデオテキスト, 画像, 音声タスクに対して, ビデオデータの大規模な収集を訓練したネットワークを, どのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-29T17:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。