論文の概要: Pseudo-labeling with Keyword Refining for Few-Supervised Video Captioning

• arxiv url: http://arxiv.org/abs/2411.04059v1
• Date: Wed, 06 Nov 2024 17:11:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:23:19.553400
• Title: Pseudo-labeling with Keyword Refining for Few-Supervised Video Captioning
• Title（参考訳）: 数短縮ビデオキャプションのためのキーワードリフィニングを用いた擬似ラベル付け
• Authors: Ping Li, Tao Wang, Xinkui Zhao, Xianghua Xu, Mingli Song,
• Abstract要約: 本稿では,語彙制約付き擬似ラベルモジュールとキーワード修正字幕モジュールからなる動画キャプションフレームワークを提案する。 いくつかのベンチマークの実験では、少数の教師付きシナリオと完全な教師付きシナリオの両方において提案されたアプローチの利点を実証している。
• 参考スコア（独自算出の注目度）: 42.0725330677271
• License:
• Abstract: Video captioning generate a sentence that describes the video content. Existing methods always require a number of captions (\eg, 10 or 20) per video to train the model, which is quite costly. In this work, we explore the possibility of using only one or very few ground-truth sentences, and introduce a new task named few-supervised video captioning. Specifically, we propose a few-supervised video captioning framework that consists of lexically constrained pseudo-labeling module and keyword-refined captioning module. Unlike the random sampling in natural language processing that may cause invalid modifications (\ie, edit words), the former module guides the model to edit words using some actions (\eg, copy, replace, insert, and delete) by a pretrained token-level classifier, and then fine-tunes candidate sentences by a pretrained language model. Meanwhile, the former employs the repetition penalized sampling to encourage the model to yield concise pseudo-labeled sentences with less repetition, and selects the most relevant sentences upon a pretrained video-text model. Moreover, to keep semantic consistency between pseudo-labeled sentences and video content, we develop the transformer-based keyword refiner with the video-keyword gated fusion strategy to emphasize more on relevant words. Extensive experiments on several benchmarks demonstrate the advantages of the proposed approach in both few-supervised and fully-supervised scenarios. The code implementation is available at https://github.com/mlvccn/PKG_VidCap
• Abstract（参考訳）: ビデオキャプションは、ビデオの内容を記述する文を生成する。 既存の方法では、1ビデオあたりのキャプション(10または20)が必要で、非常にコストがかかる。 そこで本研究では,1つないしごく少数の接尾辞文のみを使用する可能性について検討し,ビデオキャプションをほとんど指導しない新しいタスクを提案する。 具体的には、語彙的に制約された擬似ラベル付きモジュールとキーワード修飾字幕付きキャプション付きモジュールで構成される、いくつかの教師付きビデオキャプションフレームワークを提案する。 自然言語処理におけるランダムサンプリングは、不正な修正(\ie, edit words)を引き起こす可能性があるが、以前のモジュールは、事前訓練されたトークンレベルの分類器によっていくつかのアクション(\eg, copy, replacement, insert, delete)を使用して単語を編集し、事前訓練された言語モデルによって微調整された候補文を生成する。 一方、前者は繰り返しペナル化サンプリングを用いて、より少ない繰り返しで簡潔な擬似ラベル文を得るようモデルに促し、事前訓練されたビデオテキストモデルに基づいて最も関連性の高い文を選択する。 さらに,擬似ラベル付き文とビデオコンテンツ間のセマンティック一貫性を維持するために,ビデオキーワードのゲート融合戦略を付加したトランスフォーマーベースのキーワード精錬器を開発し,関連する単語に重点を置いている。 いくつかのベンチマークでの大規模な実験は、少数の監督されたシナリオと完全に監督されたシナリオの両方において提案されたアプローチの利点を実証している。 コード実装はhttps://github.com/mlvccn/PKG_VidCapで入手できる。

関連論文リスト

• Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis [13.702423348269155]
  本稿では,VTTSのビデオから音声を生成するタスクを提案し,マルチモーダル音声生成のための新しい手法を提案する。 本稿では,このタスクをビザトロニクスと呼ぶデコーダのみのマルチモーダルモデルを提案する。 視覚、テキスト、音声を直接トランスフォーマーモデルの共通部分空間に埋め込み、自己回帰的損失を用いて、話者ビデオや音声の書き起こしに条件付けられた離散化メル-スペクトログラムの生成モデルを学ぶ。
  論文  参考訳（メタデータ） (2024-11-26T18:57:29Z)
• Vid2Seq: Large-Scale Pretraining of a Visual Language Model for Dense Video Captioning [93.6842670770983]
  Vid2Seqは、ナレーション付きビデオで事前訓練されたマルチモーダルなシングルステージのイベントキャプションモデルである。 本研究では, 文境界を擬似事象境界として再構成することにより, ラベル付きナレーション付き動画を高密度映像キャプションに活用可能であることを示す。 YT-Temporal-1Bデータセットで事前トレーニングされた結果のVid2Seqモデルは、さまざまな高密度ビデオキャプションベンチマーク上でのテクニックの状態を改善する。
  論文  参考訳（メタデータ） (2023-02-27T19:53:49Z)
• End-to-end Generative Pretraining for Multimodal Video Captioning [82.79187814057313]
  本稿では,未学習ビデオから学習するための新しい事前学習フレームワークであるMV-GPTを提案する。 最近のビデオ言語事前学習フレームワークとは異なり、我々のフレームワークはマルチモーダルビデオエンコーダと文デコーダを共同で訓練する。 本モデルは,4つの標準ベンチマークによるマルチモーダルビデオキャプションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-01-20T16:16:21Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• Controllable Video Captioning with an Exemplar Sentence [89.78812365216983]
  本稿では,エンコーダ・デコーダ・リコンストラクタアーキテクチャに組み込んだ新しいSMCGを提案する。 SMCGはビデオセマンティック表現を入力とし、長期記憶ネットワークのゲートとセルを条件的に変調する。 2つの公開ビデオキャプションデータセットに対して、補助的な例文を収集して実験を行う。
  論文  参考訳（メタデータ） (2021-12-02T09:24:45Z)
• Syntax Customized Video Captioning by Imitating Exemplar Sentences [90.98221715705435]
  SCVC(Syntax Customized Video Captioning)の新たなタスクについて紹介する。 SCVCは、ビデオの内容を意味的に記述するだけでなく、与えられた先行文を構文的に模倣する1つのキャプションを生成することを目的としている。 本稿では,構文解析と意味論的コヒーレントなビデオキャプションを生成するためのモデル機能を示す。
  論文  参考訳（メタデータ） (2021-12-02T09:08:09Z)
• Open-book Video Captioning with Retrieve-Copy-Generate Network [42.374461018847114]
  本稿では,従来のビデオキャプションタスクを新たなパラダイム,すなわちOpen-book Video Captioningに変換する。 本稿では,プラグイン可能なビデオ・テキスト検索システムを構築し,学習コーパスからのヒントとして文を効率的に検索するRetrieve-Copy-Generateネットワークを提案する。 本フレームワークは,従来の検索手法とオルソドックスエンコーダデコーダ法を協調して,検索した文中の多様な表現を描画するだけでなく,ビデオの自然な,正確な内容を生成する。
  論文  参考訳（メタデータ） (2021-03-09T08:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。