論文の概要: Unified Static and Dynamic Network: Efficient Temporal Filtering for Video Grounding

• arxiv url: http://arxiv.org/abs/2403.14174v1
• Date: Thu, 21 Mar 2024 06:53:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 15:07:37.538863
• Title: Unified Static and Dynamic Network: Efficient Temporal Filtering for Video Grounding
• Title（参考訳）: Unified Static and Dynamic Network:Efficient Temporal Filtering for Video Grounding
• Authors: Jingjing Hu, Dan Guo, Kun Li, Zhan Si, Xun Yang, Xiaojun Chang, Meng Wang,
• Abstract要約: ビデオとテキスト/オーディオクエリ間の意味的関連を学習するために,Unified Static and Dynamic Network (UniSDNet) を設計する。 我々のUniSDNetは、NLVG(Natural Language Video Grounding)タスクとSLVG(Spoke Language Video Grounding)タスクの両方に適用できます。
• 参考スコア（独自算出の注目度）: 56.315932539150324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by the activity-silent and persistent activity mechanisms in human visual perception biology, we design a Unified Static and Dynamic Network (UniSDNet), to learn the semantic association between the video and text/audio queries in a cross-modal environment for efficient video grounding. For static modeling, we devise a novel residual structure (ResMLP) to boost the global comprehensive interaction between the video segments and queries, achieving more effective semantic enhancement/supplement. For dynamic modeling, we effectively exploit three characteristics of the persistent activity mechanism in our network design for a better video context comprehension. Specifically, we construct a diffusely connected video clip graph on the basis of 2D sparse temporal masking to reflect the "short-term effect" relationship. We innovatively consider the temporal distance and relevance as the joint "auxiliary evidence clues" and design a multi-kernel Temporal Gaussian Filter to expand the context clue into high-dimensional space, simulating the "complex visual perception", and then conduct element level filtering convolution operations on neighbour clip nodes in message passing stage for finally generating and ranking the candidate proposals. Our UniSDNet is applicable to both Natural Language Video Grounding (NLVG) and Spoken Language Video Grounding (SLVG) tasks. Our UniSDNet achieves SOTA performance on three widely used datasets for NLVG, as well as three datasets for SLVG, e.g., reporting new records at 38.88% R@1,IoU@0.7 on ActivityNet Captions and 40.26% R@1,IoU@0.5 on TACoS. To facilitate this field, we collect two new datasets (Charades-STA Speech and TACoS Speech) for SLVG task. Meanwhile, the inference speed of our UniSDNet is 1.56$\times$ faster than the strong multi-query benchmark. Code is available at: https://github.com/xian-sh/UniSDNet.
• Abstract（参考訳）: 人間の視覚知覚生物学におけるアクティビティ・サイレントかつ永続的な活動機構にインスパイアされ,映像とテキスト/オーディオクエリのセマンティックな関連を学習し,効率的な映像グラウンドティングを実現するために,Unified Static and Dynamic Network(UniSDNet)を設計した。 静的モデリングでは,ビデオセグメントとクエリ間のグローバルな包括的相互作用を促進し,より効果的なセマンティックエンハンスメント/サプリメントを実現するために,新しい残留構造(ResMLP)を考案する。 動的モデリングでは,ネットワーク設計における持続的活動機構の3つの特徴を効果的に活用し,より優れた映像コンテキスト理解を実現する。 具体的には「短期効果」関係を反映した2次元スパースマスキングに基づく拡散接続型ビデオクリップグラフを構築した。 我々は、時間的距離と関連性を共同で「補助的証拠手がかり」とみなし、コンテキストヒントを高次元空間に拡張し、「複雑な視覚知覚」をシミュレートするマルチカーネルの時間的ガウスフィルタを設計し、メッセージパッシング段階において近隣のクリップノード上で要素レベルのフィルタ畳み込み操作を行い、候補提案を最終的に生成し、ランキング付けする。 我々のUniSDNetは、NLVG(Natural Language Video Grounding)タスクとSLVG(Spoke Language Video Grounding)タスクの両方に適用できます。 当社のUniSDNetは,NLVG用に広く使用されている3つのデータセットに加えて,SLVG用の3つのデータセット,例えば,ActivityNet Captionsの38.88% R@1,IoU@0.7,TACoSの40.26% R@1,IoU@0.5で新たなレコードを報告している。 SLVGタスクのための2つの新しいデータセット(Charades-STA SpeechとTACoS Speech)を収集する。 一方、UniSDNetの推論速度は、強いマルチクエリベンチマークよりも1.56$\times$高速です。 コードは、https://github.com/xian-sh/UniSDNet.comで入手できる。

関連論文リスト

• Spiking Tucker Fusion Transformer for Audio-Visual Zero-Shot Learning [30.51005522218133]
  音声・視覚ゼロショット学習のための新しいSTFT(Spking Tucker Fusion Transformer)を提案する。 STFTは、異なる時間ステップからの時間的および意味的な情報を活用して、堅牢な表現を生成する。 本稿では,最大と平均のプール操作を組み合わせたグローバルローカルプール(GLP)を提案する。
  論文  参考訳（メタデータ） (2024-07-11T02:01:26Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [63.84589410872608]
  本研究では,長期的空間的および時間的依存に対処する新しい非条件ビデオ生成モデルを提案する。 提案手法は計算複雑性をFLOPの測定値として2ドル程度削減する。 我々のモデルは高精細度ビデオクリップを256時間256ドルピクセルの解像度で合成でき、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• Video-SwinUNet: Spatio-temporal Deep Learning Framework for VFSS Instance Segmentation [10.789826145990016]
  本稿では,医用ビデオセグメンテーションのためのディープラーニングフレームワークを提案する。 本フレームワークは, 時間次元にまたがる近傍のフレームから特徴を明示的に抽出する。 テンポラリな機能ブレンダーを組み込んで、ハイレベルな時間的特徴をトークン化し、Swin Transformerを介してエンコードされた強力なグローバル機能を形成する。
  論文  参考訳（メタデータ） (2023-02-22T12:09:39Z)
• HALSIE: Hybrid Approach to Learning Segmentation by Simultaneously Exploiting Image and Event Modalities [6.543272301133159]
  イベントカメラは、非同期イベントストリームを生成するためにピクセルごとの強度の変化を検出する。 リアルタイム自律システムにおいて、正確なセマンティックマップ検索のための大きな可能性を秘めている。 イベントセグメンテーションの既存の実装は、サブベースのパフォーマンスに悩まされている。 本研究では,ハイブリット・エンド・エンド・エンドの学習フレームワークHALSIEを提案する。
  論文  参考訳（メタデータ） (2022-11-19T17:09:50Z)
• Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in Driving Scenes [82.4186966781934]
  Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。 Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。 無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-18T03:48:58Z)
• Learning Long-Term Spatial-Temporal Graphs for Active Speaker Detection [21.512786675773675]
  複数の話者によるビデオにおけるアクティブな話者検出は難しい課題である。 本研究では空間時間グラフ学習フレームワークSPELLを提案する。 SPELLは計算コストのかかる完全連結グラフニューラルネットワークに頼ることなく、すべてのノードの長時間の時間的コンテキストを推論することができる。
  論文  参考訳（メタデータ） (2022-07-15T23:43:17Z)
• Unsupervised Temporal Video Grounding with Deep Semantic Clustering [58.95918952149763]
  時間的ビデオグラウンドティングは、所定の文クエリに従って、ビデオ内のターゲットセグメントをローカライズすることを目的としている。 本稿では,ペアアノテーションを使わずにビデオグラウンドモデルが学べるかどうかを考察する。 ペア化された監視が存在しないことを考慮し,クエリ集合全体からすべての意味情報を活用するための新しいDeep Semantic Clustering Network (DSCNet)を提案する。
  論文  参考訳（メタデータ） (2022-01-14T05:16:33Z)
• Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching [67.02962970820505]
  ビデオオブジェクト(VOS)に「トラッキング・バイ・検出」を導入する。 本稿では,時間的アグリゲーションネットワークと動的時間進化テンプレートマッチング機構を提案する。 我々は,DAVISベンチマークで1フレームあたり0.14秒,J&Fで75.9%の速度で,複雑なベルとホイッスルを伴わずに,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-11T05:44:16Z)
• Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences [107.0776836117313]
  STVGは、トリミングされていないビデオと宣言的/解釈的な文が与えられた場合、クエリされたオブジェクトの時間管をローカライズすることを目的としている。 既存の手法では、非効率なチューブ前世代と新しいオブジェクト関係モデリングの欠如により、STVGタスクに対処できない。 本稿では,この課題に対する宣言型時間グラフ推論ネットワーク(STGRN)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T19:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。