論文の概要: Semi-supervised Active Learning for Video Action Detection

• arxiv url: http://arxiv.org/abs/2312.07169v3
• Date: Wed, 3 Apr 2024 15:11:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 22:37:19.226034
• Title: Semi-supervised Active Learning for Video Action Detection
• Title（参考訳）: 映像行動検出のための半教師付き能動学習
• Authors: Ayush Singh, Aayush J Rana, Akash Kumar, Shruti Vyas, Yogesh Singh Rawat,
• Abstract要約: 我々はラベル付きデータとラベルなしデータの両方を利用する、新しい半教師付きアクティブラーニング手法を開発した。 提案手法は,UCF-24-101,JHMDB-21,Youtube-VOSの3種類のベンチマークデータセットに対して評価を行った。
• 参考スコア（独自算出の注目度）: 8.110693267550346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we focus on label efficient learning for video action detection. We develop a novel semi-supervised active learning approach which utilizes both labeled as well as unlabeled data along with informative sample selection for action detection. Video action detection requires spatio-temporal localization along with classification, which poses several challenges for both active learning informative sample selection as well as semi-supervised learning pseudo label generation. First, we propose NoiseAug, a simple augmentation strategy which effectively selects informative samples for video action detection. Next, we propose fft-attention, a novel technique based on high-pass filtering which enables effective utilization of pseudo label for SSL in video action detection by emphasizing on relevant activity region within a video. We evaluate the proposed approach on three different benchmark datasets, UCF-101-24, JHMDB-21, and Youtube-VOS. First, we demonstrate its effectiveness on video action detection where the proposed approach outperforms prior works in semi-supervised and weakly-supervised learning along with several baseline approaches in both UCF101-24 and JHMDB-21. Next, we also show its effectiveness on Youtube-VOS for video object segmentation demonstrating its generalization capability for other dense prediction tasks in videos. The code and models is publicly available at: \url{https://github.com/AKASH2907/semi-sup-active-learning}.
• Abstract（参考訳）: 本研究では,映像行動検出のためのラベル学習に焦点をあてる。 本研究では,ラベル付きデータとラベルなしデータと,行動検出のための情報的サンプル選択を併用した,新しい半教師付きアクティブラーニング手法を開発した。 ビデオ行動検出には時空間的局所化と分類が必要であるため、アクティブな学習情報サンプル選択と半教師付き学習擬似ラベル生成の両方にいくつかの課題が生じる。 まず,映像行動検出のための情報サンプルを効果的に選択するシンプルな拡張戦略であるNossAugを提案する。 次に、ビデオ内の関連活動領域を強調することで、ビデオアクション検出におけるSSLの擬似ラベルの有効活用を可能にする、ハイパスフィルタリングに基づく新しい技術であるfft-attentionを提案する。 提案手法を,UCF-101-24,JHMDB-21,Youtube-VOSの3種類のベンチマークデータセットで評価した。 まず,提案手法は,UCF101-24とJHMDB-21の両方のベースラインアプローチとともに,半教師付き・弱教師付き学習において先行して機能するビデオアクション検出に有効であることを示す。 次に、ビデオ内の他の密集予測タスクに対する一般化能力を示すビデオオブジェクトセグメンテーションにおけるYoutube-VOSの有効性を示す。 コードとモデルは: \url{https://github.com/AKASH2907/semi-sup-active-learning}で公開されている。

関連論文リスト

• Open-Vocabulary Spatio-Temporal Action Detection [59.91046192096296]
  OV-STAD (Open-vocabulary-temporal action detection) は,ビデオ理解において重要な課題である。 OV-STADは、ボックスとラベルを監督する限定されたベースクラスでモデルをトレーニングする必要がある。 局所的なビデオ領域とテキストのペアに対して、細かなアクション検出タスクに対して、より精巧なVLMを適用するために、慎重に微調整を行う。
  論文  参考訳（メタデータ） (2024-05-17T14:52:47Z)
• Towards Active Learning for Action Spotting in Association Football Videos [59.84375958757395]
  フットボールビデオの分析は困難であり、微妙で多様な時間的パターンを特定する必要がある。 現在のアルゴリズムは、限られた注釈付きデータから学ぶ際に大きな課題に直面している。 次にアノテートすべき最も情報に富んだビデオサンプルを選択する能動的学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-09T11:50:41Z)
• Weakly Supervised Two-Stage Training Scheme for Deep Video Fight Detection Model [0.0]
  ビデオにおけるファイト検出は、今日の監視システムとストリーミングメディアの普及にともなう、新たなディープラーニングアプリケーションである。 これまでの研究は、この問題に対処するための行動認識技術に大きく依存していた。 本研究では,動作認識特徴抽出器と異常スコア生成器の合成として,戦闘検出モデルを設計する。
  論文  参考訳（メタデータ） (2022-09-23T08:29:16Z)
• Enabling Weakly-Supervised Temporal Action Localization from On-Device Learning of the Video Stream [5.215681853828831]
  長編未編集のストリーミングビデオから学習するための効率的なビデオ学習手法を提案する。 私たちの知る限りでは、オンデバイスで長いビデオストリームから直接学習する最初の試みです。
  論文  参考訳（メタデータ） (2022-08-25T13:41:03Z)
• End-to-End Semi-Supervised Learning for Video Action Detection [23.042410033982193]
  ラベルのないデータを効果的に活用するシンプルなエンドツーエンドアプローチを提案する。 ビデオアクション検出には、アクションクラス予測と時間的一貫性の両方が必要である。 提案手法が2つの異なる行動検出ベンチマークデータセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-08T18:11:25Z)
• Cross-category Video Highlight Detection via Set-based Learning [55.49267044910344]
  本稿では,Dual-Learner-based Video Highlight Detection (DL-VHD) フレームワークを提案する。 対象とするカテゴリビデオの区別と,ソースビデオカテゴリにおけるハイライトモーメントの特徴を学習する。 さまざまなカテゴリのハイライト検出タスクにおいて、一般的な5つのUnsupervised Domain Adaptation (UDA)アルゴリズムより優れています。
  論文  参考訳（メタデータ） (2021-08-26T13:06:47Z)
• Learning from Weakly-labeled Web Videos via Exploring Sub-Concepts [89.06560404218028]
  検索ウェブビデオを用いたビデオ行動認識モデルの事前学習手法を提案する。 フィルタアウトする代わりに、これらのクエリービデオの潜在的なノイズを有用な監視信号に変換することを提案します。 SPLは擬似ラベルを用いた既存の事前学習戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-11T05:50:16Z)
• Gabriella: An Online System for Real-Time Activity Detection in Untrimmed Security Videos [72.50607929306058]
  本研究では,未トリミングされたセキュリティビデオ上でのアクティビティ検出をリアルタイムに行うオンラインシステムを提案する。 提案手法は, チューブレット抽出, 活性分類, オンラインチューブレットマージの3段階からなる。 提案手法の有効性を,100fps(100fps)と最新技術による性能評価で実証した。
  論文  参考訳（メタデータ） (2020-04-23T22:20:10Z)
• Delving into 3D Action Anticipation from Streaming Videos [99.0155538452263]
  アクション予測は、部分的な観察でアクションを認識することを目的としている。 本稿では,いくつかの相補的評価指標を導入し,フレームワイド動作分類に基づく基本モデルを提案する。 また,全動作表現とクラス非依存行動ラベルという2つの側面から補助情報を取り入れたマルチタスク学習戦略についても検討する。
  論文  参考訳（メタデータ） (2019-06-15T10:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。