論文の概要: No-frills Temporal Video Grounding: Multi-Scale Neighboring Attention and Zoom-in Boundary Detection

• arxiv url: http://arxiv.org/abs/2307.10567v1
• Date: Thu, 20 Jul 2023 04:12:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 14:47:16.385015
• Title: No-frills Temporal Video Grounding: Multi-Scale Neighboring Attention and Zoom-in Boundary Detection
• Title（参考訳）: No-frills Temporal Video Grounding:マルチスケール隣りの注意とズームイン境界検出
• Authors: Qi Zhang and Sipeng Zheng and Qin Jin
• Abstract要約: 時間的ビデオグラウンドティングは、未編集のビデオから言語クエリの時間間隔を取得することを目的としている。 テレビGにおける重要な課題は、低SNR(Semantic Noise Ratio)による低SNRの性能低下である。 本稿では,2つのコアモジュールからなる非フリーズTVGモデルを提案する。
• 参考スコア（独自算出の注目度）: 52.03562682785128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal video grounding (TVG) aims to retrieve the time interval of a language query from an untrimmed video. A significant challenge in TVG is the low "Semantic Noise Ratio (SNR)", which results in worse performance with lower SNR. Prior works have addressed this challenge using sophisticated techniques. In this paper, we propose a no-frills TVG model that consists of two core modules, namely multi-scale neighboring attention and zoom-in boundary detection. The multi-scale neighboring attention restricts each video token to only aggregate visual contexts from its neighbor, enabling the extraction of the most distinguishing information with multi-scale feature hierarchies from high-ratio noises. The zoom-in boundary detection then focuses on local-wise discrimination of the selected top candidates for fine-grained grounding adjustment. With an end-to-end training strategy, our model achieves competitive performance on different TVG benchmarks, while also having the advantage of faster inference speed and lighter model parameters, thanks to its lightweight architecture.
• Abstract（参考訳）: 時間的ビデオグラウンドティング(TVG)は、未編集のビデオから言語クエリの時間間隔を取得することを目的としている。 テレビGにおける重要な課題は、低SNR(Semantic Noise Ratio)による低SNRの性能低下である。 先行研究はこの課題に洗練された技術を用いて対処した。 本稿では,マルチスケールアテンディングアテンションとズームイン境界検出という2つのコアモジュールからなる非フリルtvgモデルを提案する。 マルチスケール隣人の注意は、各ビデオトークンが隣人からの視覚的コンテキストのみを集約することを制限し、高比雑音から多スケール特徴階層による最も識別性の高い情報の抽出を可能にする。 ズームイン境界検出は、きめ細かい接地調整のための選択された上位候補の局所的判別に焦点を当てる。 エンド・ツー・エンドのトレーニング戦略により、我々のモデルは異なるTVGベンチマーク上での競合性能を達成すると同時に、より高速な推論速度と軽量なモデルパラメータの利点も享受できる。

関連論文リスト

• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• Generation-Guided Multi-Level Unified Network for Video Grounding [18.402093379973085]
  ビデオグラウンディングは、未トリミングされたビデオの中で、クエリ記述に最適なタイムスタンプを見つけることを目的としている。 モーメントレベルのアプローチは、グローバルな視点で各過渡モーメントが境界となる確率を直接予測する。 クリップレベルのものは、異なる時間窓のモーメントをプロポーザルに集約し、最も類似したモーメントを推論し、きめ細かいグラウンドリングにおいてその優位性をもたらす。
  論文  参考訳（メタデータ） (2023-03-14T09:48:59Z)
• Task-adaptive Spatial-Temporal Video Sampler for Few-shot Action Recognition [25.888314212797436]
  本稿では,アクション認識のための新しいビデオフレームサンプリング手法を提案する。 タスク固有の時空間フレームサンプリングは時空間セレクタ(TS)と空間増幅器(SA)を介して実現される 実験では、長期ビデオを含む様々なベンチマークが大幅に向上した。
  論文  参考訳（メタデータ） (2022-07-20T09:04:12Z)
• Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario [87.72258480670627]
  既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。 本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
  論文  参考訳（メタデータ） (2022-07-05T09:27:53Z)
• Coarse-to-Fine Video Denoising with Dual-Stage Spatial-Channel Transformer [29.03463312813923]
  Video Denoisingは、ノイズの多いビデオから高品質なフレームを復元することを目的としている。 既存のほとんどのアプローチでは、畳み込みニューラルネットワーク(CNN)を使用して、ノイズを元の視覚コンテンツから分離する。 粗大な映像をデノナイズするためのDual-stage Spatial-Channel Transformer (DSCT)を提案する。
  論文  参考訳（メタデータ） (2022-04-30T09:01:21Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Robust Unsupervised Multi-Object Tracking in Noisy Environments [5.409476600348953]
  頑健なマルチオブジェクト追跡(MOT)モデルである AttU-Net を導入する。 提案したシングルヘッドアテンションモデルは、異なるセグメントスケールでの視覚的表現を学習することで、ノイズの負の影響を制限するのに役立つ。 本手法をMNISTとAtariゲームビデオベンチマークで評価する。
  論文  参考訳（メタデータ） (2021-05-20T19:38:03Z)
• Robust Unsupervised Video Anomaly Detection by Multi-Path Frame Prediction [61.17654438176999]
  本稿では,フレーム予測と適切な設計による新規で頑健な非教師付きビデオ異常検出手法を提案する。 提案手法は,CUHK Avenueデータセット上で88.3%のフレームレベルAUROCスコアを得る。
  論文  参考訳（メタデータ） (2020-11-05T11:34:12Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。