論文の概要: Exploiting Feature Diversity for Make-up Temporal Video Grounding
- arxiv url: http://arxiv.org/abs/2208.06179v1
- Date: Fri, 12 Aug 2022 09:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-15 12:54:33.507776
- Title: Exploiting Feature Diversity for Make-up Temporal Video Grounding
- Title(参考訳): 時間的ビデオグラウンド作成のための爆発的特徴多様性
- Authors: Xiujun Shu, Wei Wen, Taian Guo, Sunan He, Chen Wu, Ruizhi Qiao
- Abstract要約: 本報告では,ACM MM 2022における第4回PICチャレンジで導入された第3回MTVGの勝利解について述べる。
MTVGは,テキスト記述に基づくビデオ中のステップの時間的境界のローカライズを目的としている。
- 参考スコア(独自算出の注目度): 15.358540603177547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This technical report presents the 3rd winning solution for MTVG, a new task
introduced in the 4-th Person in Context (PIC) Challenge at ACM MM 2022. MTVG
aims at localizing the temporal boundary of the step in an untrimmed video
based on a textual description. The biggest challenge of this task is the fi
ne-grained video-text semantics of make-up steps. However, current methods
mainly extract video features using action-based pre-trained models. As actions
are more coarse-grained than make-up steps, action-based features are not
sufficient to provide fi ne-grained cues. To address this issue,we propose to
achieve fi ne-grained representation via exploiting feature diversities.
Specifically, we proposed a series of methods from feature extraction, network
optimization, to model ensemble. As a result, we achieved 3rd place in the MTVG
competition.
- Abstract(参考訳): 本技術報告では,ACM MM 2022における第4回PICチャレンジで導入された,第3回MTVGの勝利解を示す。
MTVGは,テキスト記述に基づくビデオ中のステップの時間的境界のローカライズを目的としている。
このタスクの最大の課題は、メイクアップステップの細かなビデオテキストセマンティクスである。
しかし、現在の手法は主にアクションベース事前学習モデルを用いて映像特徴を抽出する。
アクションはメイクアップステップよりも粗い粒度であるため、アクションベースの特徴は fi ne-fine cues を提供するのに十分ではない。
この問題に対処するため,我々は,特徴の多様性を生かしてfi ne粒度表現を実現することを提案する。
具体的には,特徴抽出,ネットワーク最適化,モデルアンサンブルなど,一連の手法を提案する。
その結果,MTVG大会では3位となった。
関連論文リスト
- Detours for Navigating Instructional Videos [63.5406107583575]
We propose VidDetours, a video-lang approach that learn to retrieve the target temporal segments from a large repository of how-to's。
本稿では,ビデオ検索と質問応答の最良の方法に比べて,モデルが大幅に改善し,リコール率が35%を超えることを示す。
論文 参考訳(メタデータ) (2024-01-03T16:38:56Z) - SEINE: Short-to-Long Video Diffusion Model for Generative Transition and
Prediction [93.26613503521664]
本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。
テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。
我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
論文 参考訳(メタデータ) (2023-10-31T17:58:17Z) - Dual-Path Temporal Map Optimization for Make-up Temporal Video Grounding [34.603577827106875]
メイクアップ時間的ビデオグラウンドニングは、長いビデオが与えられた場合の、メイクアップアクティビティを記述する文に意味的に関連のあるターゲットビデオセグメントをローカライズすることを目的としている。
既存の一般的なアプローチでは、標的となるアクティビティを効果的に見つけることはできない。
本稿では,DPTMO (Dual-Path Temporal Map Optimization Network) という提案に基づく効果的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-12T12:43:50Z) - Technical Report for Ego4D Long Term Action Anticipation Challenge 2023 [0.0]
我々は,2023年のEgo4D長期行動予測チャレンジの技術的詳細を説明する。
このタスクの目的は、入力ビデオから任意のタイミングで発生する未来のアクションのシーケンスを予測することである。
提案手法は, ベースライン性能を向上し, 公開リーダボード上の第2位ソリューションとして記録した。
論文 参考訳(メタデータ) (2023-07-04T04:12:49Z) - Clover: Towards A Unified Video-Language Alignment and Fusion Model [154.1070559563592]
我々は,Corver,Correlated Video-Language Pre-Torning法を紹介する。
クロスモーダルな特徴アライメントと融合を、新しい3モーダルアライメント事前訓練タスクを通じて改善する。
Cloverは、複数のダウンストリームタスクに新しい最先端技術を確立する。
論文 参考訳(メタデータ) (2022-07-16T09:38:52Z) - Team PKU-WICT-MIPL PIC Makeup Temporal Video Grounding Challenge 2022
Technical Report [42.49264486550348]
本研究では,その微粒な句と文全体に関連する時間的局所化関係を利用するフレーズ関係マイニングフレームワークを提案する。
さらに,異なるステップ文クエリの局所化結果を重なり合わないように制約することを提案する。
最終候補は第2位で、第1位と0.55%の差しかなかった。
論文 参考訳(メタデータ) (2022-07-06T13:50:34Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳(メタデータ) (2022-06-27T06:48:15Z) - Sketch Me A Video [32.38205496481408]
本稿では、2つの粗悪なドーンスケッチを入力としてのみ使用して、リアルなポートレートビデオを作成することで、新しいビデオ合成タスクを提案する。
2段階のSketch-to-Videoモデルが提案されている。
論文 参考訳(メタデータ) (2021-10-10T05:40:11Z) - Compositional Video Synthesis with Action Graphs [112.94651460161992]
アクションのビデオは、空間と時間の豊富な構成構造を含む複雑な信号である。
本稿では、アクショングラフと呼ばれるグラフ構造におけるアクションを表現し、新しいアクショングラフ・トゥ・ビデオ合成タスクを提案する。
このタスクのための生成モデル(AG2Vid)は、動作と外観の特徴を歪め、アクションのスケジューリング機構を組み込むことで、タイムリーかつ協調的なビデオ生成を容易にする。
論文 参考訳(メタデータ) (2020-06-27T09:39:04Z) - YouMakeup VQA Challenge: Towards Fine-grained Action Understanding in
Domain-Specific Videos [60.62475495522428]
YouMakeup VQA Challenge 2020の目標は、ドメイン固有のビデオの詳細なアクション理解のための共通のベンチマークを提供することだ。
本稿では,モデルのきめ細かい行動理解能力を評価するための2つの質問応答タスクを提案する。
論文 参考訳(メタデータ) (2020-04-12T09:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。