論文の概要: Dense Regression Network for Video Grounding
- arxiv url: http://arxiv.org/abs/2004.03545v1
- Date: Tue, 7 Apr 2020 17:15:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 00:24:38.819913
- Title: Dense Regression Network for Video Grounding
- Title（参考訳）: 映像グラウンディングのためのDense Regression Network
- Authors: Runhao Zeng, Haoming Xu, Wenbing Huang, Peihao Chen, Mingkui Tan,
Chuang Gan
- Abstract要約: 地上の真理の中のフレームと開始(終了)フレームの間の距離を高密度の監督として利用し、映像のグラウンド化精度を向上させる。
具体的には、各フレームからビデオセグメントの開始(終了)フレームまでの距離を抑えるために、新しい高密度回帰ネットワーク(DRN)を設計する。
また,グラウンドリング結果の局所化品質を明示的に考慮するために,単純だが効果的なIoU回帰ヘッドモジュールを提案する。
- 参考スコア（独自算出の注目度）: 97.57178850020327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of video grounding from natural language queries. The
key challenge in this task is that one training video might only contain a few
annotated starting/ending frames that can be used as positive examples for
model training. Most conventional approaches directly train a binary classifier
using such imbalance data, thus achieving inferior results. The key idea of
this paper is to use the distances between the frame within the ground truth
and the starting (ending) frame as dense supervisions to improve the video
grounding accuracy. Specifically, we design a novel dense regression network
(DRN) to regress the distances from each frame to the starting (ending) frame
of the video segment described by the query. We also propose a simple but
effective IoU regression head module to explicitly consider the localization
quality of the grounding results (i.e., the IoU between the predicted location
and the ground truth). Experimental results show that our approach
significantly outperforms state-of-the-arts on three datasets (i.e.,
Charades-STA, ActivityNet-Captions, and TACoS).
- Abstract（参考訳）: 自然言語クエリからビデオグラウンド化の問題に対処する。
このタスクにおける重要な課題は、あるトレーニングビデオには、モデルトレーニングのポジティブな例として使用できるいくつかの注釈付き開始/終了フレームしか含まれていないことだ。
従来の手法では、このような不均衡データを使ってバイナリ分類器を直接訓練し、結果が劣る。
本論文の重要な考え方は,映像のグラウンドング精度を向上させるために,基底真理内のフレームと開始(終了)フレームとの間の距離を密接な監督として利用することである。
具体的には,各フレームからクエリによって記述されたビデオセグメントの開始(終了)フレームまでの距離を抑えるために,新しい高密度回帰ネットワーク(DRN)を設計する。
また,推定位置と基底真実の間のIoUの局所化品質を明示的に考慮する,単純だが効果的なIoU回帰ヘッドモジュールを提案する。
実験結果から,本手法は3つのデータセット(Charades-STA,ActivityNet-Captions,TACoS)の最先端性を大幅に向上することが示された。
関連論文リスト
- Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal
Intervention [72.12974259966592]
トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。
Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
論文 参考訳（メタデータ） (2023-09-17T15:58:27Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳（メタデータ） (2023-05-06T19:29:28Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。
これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。
我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
論文 参考訳（メタデータ） (2021-11-11T15:15:11Z) - End-to-End Dense Video Grounding via Parallel Regression [30.984657885692553]
ビデオグラウンドイングは、言語クエリが与えられた未トリミングビデオに対応するビデオモーメントをローカライズすることを目的としている。
本稿では,Transformer-alike Architecture (PRVG) を再構成することで,エンドツーエンドの並列デコーディングパラダイムを提案する。
設計の単純さのおかげで、私たちのPRVGフレームワークは異なるテストスキームに適用できます。
論文 参考訳（メタデータ） (2021-09-23T10:03:32Z) - Interventional Video Grounding with Dual Contrastive Learning [16.0734337895897]
ビデオグラウンドティングは、与えられたテキストクエリのために、未編集のビデオから瞬間をローカライズすることを目的としている。
本稿では、因果推論の観点から新しいパラダイムを提案し、モデルとデータの背後にある因果関係を明らかにする。
また、テキストとビデオの整合性を改善するために、二重のコントラスト学習アプローチを導入しています。
論文 参考訳（メタデータ） (2021-06-21T12:11:28Z) - CUPID: Adaptive Curation of Pre-training Data for Video-and-Language
Representation Learning [49.18591896085498]
ソースデータとターゲットデータのドメインギャップを埋めるCUPIDを提案します。
CUPIDは、複数のビデオ言語およびビデオタスクにまたがる最新のパフォーマンスを提供します。
論文 参考訳（メタデータ） (2021-04-01T06:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。