論文の概要: Edit As You Wish: Video Caption Editing with Multi-grained User Control
- arxiv url: http://arxiv.org/abs/2305.08389v3
- Date: Thu, 8 Aug 2024 09:28:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 21:19:13.577850
- Title: Edit As You Wish: Video Caption Editing with Multi-grained User Control
- Title(参考訳): 編集:マルチグラデーション・ユーザー・コントロールによるビデオ・キャプション編集
- Authors: Linli Yao, Yuanmeng Zhang, Ziheng Wang, Xinglin Hou, Tiezheng Ge, Yuning Jiang, Xu Sun, Qin Jin,
- Abstract要約: マルチグラデーションなユーザリクエストでガイドされた既存のビデオ記述を自動的に修正する新しい textbfVideo textbfCaption textbfEditing textbf(VCE) タスクを提案する。
人間の書き直し習慣にインスパイアされたユーザコマンドは、粗い粒度からきめ細かな粒度まで多様なユーザニーズをカバーするために、重要な3重テキスト操作、位置、属性として設計される。
- 参考スコア(独自算出の注目度): 61.76233268900959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatically narrating videos in natural language complying with user requests, i.e. Controllable Video Captioning task, can help people manage massive videos with desired intentions. However, existing works suffer from two shortcomings: 1) the control signal is single-grained which can not satisfy diverse user intentions; 2) the video description is generated in a single round which can not be further edited to meet dynamic needs. In this paper, we propose a novel \textbf{V}ideo \textbf{C}aption \textbf{E}diting \textbf{(VCE)} task to automatically revise an existing video description guided by multi-grained user requests. Inspired by human writing-revision habits, we design the user command as a pivotal triplet \{\textit{operation, position, attribute}\} to cover diverse user needs from coarse-grained to fine-grained. To facilitate the VCE task, we \textit{automatically} construct an open-domain benchmark dataset named VATEX-EDIT and \textit{manually} collect an e-commerce dataset called EMMAD-EDIT. We further propose a specialized small-scale model (i.e., OPA) compared with two generalist Large Multi-modal Models to perform an exhaustive analysis of the novel task. For evaluation, we adopt comprehensive metrics considering caption fluency, command-caption consistency, and video-caption alignment. Experiments reveal the task challenges of fine-grained multi-modal semantics understanding and processing. Our datasets, codes, and evaluation tools are available at https://github.com/yaolinli/VCE.
- Abstract(参考訳): ユーザ要求に応じた自然言語による動画の自動ナレーション、すなわち制御可能なビデオキャプションタスクは、人々が望んだ意図で巨大なビデオを管理するのに役立つ。
しかし、現存する作品は2つの欠点に悩まされている。
1) 制御信号は単一粒状であり, 多様なユーザ意図を満足できない。
2)ビデオ記述は1ラウンドで生成され,動的なニーズを満たすためにさらに編集することはできない。
本稿では,多粒度ユーザ要求によってガイドされた既存のビデオ記述を自動的に修正する,新しい \textbf{V}ideo \textbf{C}aption \textbf{E}diting \textbf{(VCE)} タスクを提案する。
人間の書き直し習慣にインスパイアされたユーザコマンドは、粗粒度から細粒度まで多様なユーザニーズをカバーするために、ピボット三重項 \{\textit{operation, position, attribute}\} として設計する。
VCEタスクを容易にするために、VATEX-EDITというオープンドメインベンチマークデータセットを構築し、EMMAD-EDITと呼ばれるEコマースデータセットを収集します。
さらに,2つの一般化した大規模マルチモーダルモデルと比較して,新しいタスクを網羅的に分析するために,特殊小スケールモデル(OPA)を提案する。
評価には、キャプション流速、コマンド・キャプションの整合性、ビデオ・キャプションの整合性を考慮した総合的なメトリクスを採用する。
実験は、微細なマルチモーダル意味論の理解と処理の課題を明らかにする。
データセット、コード、評価ツールはhttps://github.com/yaolinli/VCE.comで公開されています。
関連論文リスト
- OmniParser: A Unified Framework for Text Spotting, Key Information Extraction and Table Recognition [79.852642726105]
多様なシナリオにまたがって視覚的なテキストを解析するための統一パラダイムを提案する。
具体的には,3つの視覚的なテキスト解析タスクを同時に処理できるOmniというユニバーサルモデルを提案する。
オムニでは、全てのタスクが統一エンコーダ・デコーダアーキテクチャ、統一目的点条件テキスト生成、統一入力表現を共有している。
論文 参考訳(メタデータ) (2024-03-28T03:51:14Z) - Subject-Oriented Video Captioning [64.08594243670296]
そこで本稿では,提案するビデオキャプションタスクである主観的ビデオキャプションを提案する。
我々は、MSVDとMSRVTTという2つの広く使われているビデオキャプションデータセットに基づいて、2つの主題指向ビデオキャプションデータセットを構築した。
最初の試みとして、最先端の4つの一般的なビデオキャプションモデルを評価し、大きな性能低下を観測した。
論文 参考訳(メタデータ) (2023-12-20T17:44:32Z) - DocFormerv2: Local Features for Document Understanding [15.669112678509522]
視覚文書理解のためのマルチモーダル変換器DocFormerv2を提案する。
VDUドメインは、フォームから情報を抽出するなど、文書(単なるOCR予測)を理解する必要がある。
我々のアプローチであるDocFormerv2はエンコーダ・デコーダ変換器であり、視覚、言語、空間的特徴を入力とする。
論文 参考訳(メタデータ) (2023-06-02T17:58:03Z) - VideoXum: Cross-modal Visual and Textural Summarization of Videos [54.0985975755278]
我々は新しい共同ビデオとテキスト要約タスクを提案する。
目標は、短縮されたビデオクリップと、長いビデオから対応するテキスト要約の両方を生成することだ。
生成された短縮ビデオクリップとテキストナラティブは、セマンティックに適切に調整されるべきである。
論文 参考訳(メタデータ) (2023-03-21T17:51:23Z) - IntentVizor: Towards Generic Query Guided Interactive Video
Summarization Using Slow-Fast Graph Convolutional Networks [2.5234156040689233]
IntentVizorは、ジェネリックなマルチモーダリティクエリによってガイドされるインタラクティブなビデオ要約フレームワークである。
ユーザからのインプットを表現するために一連のインテントを使用して、インタラクティブなビジュアル分析インターフェースを設計しています。
論文 参考訳(メタデータ) (2021-09-30T03:44:02Z) - Identity-Aware Multi-Sentence Video Description [105.13845996039277]
本稿では,一組のクリップ内に一貫した人物の身元を予測することを目的とした,身元確認の補助的タスクを提案する。
鍵となるコンポーネントの1つは、性別を意識したテキスト表現であり、メインモデルにおける追加の性別予測目標である。
実験の結果,提案したフィリング・イン・ザ・アイデンティティ・モデルは,いくつかのベースラインや最近の研究よりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-08-22T09:50:43Z) - YouMakeup VQA Challenge: Towards Fine-grained Action Understanding in
Domain-Specific Videos [60.62475495522428]
YouMakeup VQA Challenge 2020の目標は、ドメイン固有のビデオの詳細なアクション理解のための共通のベンチマークを提供することだ。
本稿では,モデルのきめ細かい行動理解能力を評価するための2つの質問応答タスクを提案する。
論文 参考訳(メタデータ) (2020-04-12T09:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。