論文の概要: What, when, and where? -- Self-Supervised Spatio-Temporal Grounding in Untrimmed Multi-Action Videos from Narrated Instructions

• arxiv url: http://arxiv.org/abs/2303.16990v2
• Date: Tue, 28 May 2024 23:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 02:41:05.654111
• Title: What, when, and where? -- Self-Supervised Spatio-Temporal Grounding in Untrimmed Multi-Action Videos from Narrated Instructions
• Title（参考訳）: 自己監督型時空間グラウンド(自己監督型時空間グラウンド) : ナラティブ・インストラクションによるマルチアクションビデオ
• Authors: Brian Chen, Nina Shvetsova, Andrew Rouditchenko, Daniel Kondermann, Samuel Thomas, Shih-Fu Chang, Rogerio Feris, James Glass, Hilde Kuehne,
• Abstract要約: 時空間グラウンド(時空間グラウンド)は、空間と時間における事象を局所化するタスクを指す。 このタスクのモデルは、通常、人間の注釈付き文とバウンディングボックスの監督によって訓練される。 我々は,局所的な表現学習と,より詳細な空間情報に焦点を合わせ,高レベルな表現を捉えるグローバルな表現を組み合わせる。
• 参考スコア（独自算出の注目度）: 55.574102714832456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatio-temporal grounding describes the task of localizing events in space and time, e.g., in video data, based on verbal descriptions only. Models for this task are usually trained with human-annotated sentences and bounding box supervision. This work addresses this task from a multimodal supervision perspective, proposing a framework for spatio-temporal action grounding trained on loose video and subtitle supervision only, without human annotation. To this end, we combine local representation learning, which focuses on leveraging fine-grained spatial information, with a global representation encoding that captures higher-level representations and incorporates both in a joint approach. To evaluate this challenging task in a real-life setting, a new benchmark dataset is proposed providing dense spatio-temporal grounding annotations in long, untrimmed, multi-action instructional videos for over 5K events. We evaluate the proposed approach and other methods on the proposed and standard downstream tasks showing that our method improves over current baselines in various settings, including spatial, temporal, and untrimmed multi-action spatio-temporal grounding.
• Abstract（参考訳）: 時空間グラウンドメント(時空間グラウンド)とは、空間と時間における事象の局所化(例えばビデオデータ)を、言葉による記述のみに基づいて記述する作業である。 このタスクのモデルは、通常、人間の注釈付き文とバウンディングボックスの監督によって訓練される。 本研究は、この課題をマルチモーダルな監督の観点から解決し、人間のアノテーションを使わずに、ゆるやかなビデオとサブタイトルの監督のみに基づいて訓練された時空間行動基盤のためのフレームワークを提案する。 この目的のために,局所的な表現学習と,より詳細な空間情報を活用することに焦点を当てたグローバルな表現符号化を併用して,高次表現をキャプチャし,両者を協調的なアプローチで組み込む。 この課題を実生活環境で評価するために,5K以上のイベントに対して,高密度な時空間的接地アノテーションを提供するベンチマークデータセットが提案されている。 提案手法は,空間的,時間的,不整合な多行動時空間グラウンドなど,様々な設定において,現在のベースラインよりも改善されていることを示す。

関連論文リスト

• Learning Space-Time Semantic Correspondences [68.06065984976365]
  ソースビデオ、ターゲットビデオ、およびソースビデオ内の時空キーポイントのセットが与えられた場合、そのタスクはターゲットビデオ内のキーポイントのセットを予測する必要がある。 我々は,この課題が,アクティビティコーチング,スポーツ分析,ロボット模倣学習などの応用が可能な,微粒な映像理解に重要であると信じている。
  論文  参考訳（メタデータ） (2023-06-16T23:15:12Z)
• Hierarchical Deep Residual Reasoning for Temporal Moment Localization [48.108468456043994]
  ビデオと文を異なる意味を持つマルチレベル表現に分解する階層的深層残響推論(HDRR)モデルを提案する。 また,機能融合のための簡易かつ効果的なRes-BiGRUを設計し,自己適応的に有用な情報を把握できる。
  論文  参考訳（メタデータ） (2021-10-31T07:13:34Z)
• Weakly Supervised Temporal Action Localization Through Learning Explicit Subspaces for Action and Context [151.23835595907596]
  ビデオレベルの監視のみの下で、アクションインスタンスの時間的開始と終了をローカライズする方法を学ぶ。 アクションとコンテキストそれぞれについて,2つの機能サブスペースを学習するフレームワークを提案する。 提案手法は3つのベンチマークで最先端のWS-TAL法より優れている。
  論文  参考訳（メタデータ） (2021-03-30T08:26:53Z)
• STEm-Seg: Spatio-temporal Embeddings for Instance Segmentation in Videos [17.232631075144592]
  例えば、ビデオのセグメンテーションは、通常、トラッキング・バイ・検出のパラダイムに従っている。 単一段階における時間と空間をまたいだインスタンスのセグメント化と追跡を行う新しい手法を提案する。 提案手法は,複数のデータセットやタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2020-03-18T18:40:52Z)
• Weakly-Supervised Multi-Level Attentional Reconstruction Network for Grounding Textual Queries in Videos [73.4504252917816]
  ビデオ中のテキストクエリを時間的にグラウンド化するタスクは、与えられたクエリに意味的に対応する1つのビデオセグメントをローカライズすることである。 既存のアプローチのほとんどは、トレーニングのためのセグメント-セマンスペア(時間アノテーション)に依存しており、通常は現実のシナリオでは利用できない。 トレーニング段階では,映像文ペアのみに依存するマルチレベル注意再構築ネットワーク(MARN)と呼ばれる,効果的な弱教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-03-16T07:01:01Z)
• Joint Visual-Temporal Embedding for Unsupervised Learning of Actions in Untrimmed Sequences [25.299599341774204]
  本稿では,共同視覚-時間埋め込み空間に基づく映像系列の教師なし学習手法を提案する。 提案手法は、連続したビデオフレームに存在する視覚的手がかりから有意義な視覚的、時間的埋め込みを提供することができることを示す。
  論文  参考訳（メタデータ） (2020-01-29T22:51:06Z)
• Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences [107.0776836117313]
  STVGは、トリミングされていないビデオと宣言的/解釈的な文が与えられた場合、クエリされたオブジェクトの時間管をローカライズすることを目的としている。 既存の手法では、非効率なチューブ前世代と新しいオブジェクト関係モデリングの欠如により、STVGタスクに対処できない。 本稿では,この課題に対する宣言型時間グラフ推論ネットワーク(STGRN)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T19:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。