論文の概要: Weakly Supervised Online Action Detection for Infant General Movements

• arxiv url: http://arxiv.org/abs/2208.03648v1
• Date: Sun, 7 Aug 2022 05:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 12:44:46.527978
• Title: Weakly Supervised Online Action Detection for Infant General Movements
• Title（参考訳）: 乳幼児一般運動に対する弱教師付きオンライン行動検出
• Authors: Tongyi Luo, Jia Xiao, Chuncao Zhang, Siheng Chen, Yuan Tian, Guangjun Yu, Kang Dang, Xiaowei Ding
• Abstract要約: WO-GMA という新しい手法を提案し,弱教師付きオンライン環境でのフィジティ・ムーブメント・ローカライゼーションを実現する。 乳幼児の757本のビデオを用いた実験結果から、WO-GMAは最先端のビデオレベルの分類とクリップレベルの検出結果を得ることができることが示された。
• 参考スコア（独自算出の注目度）: 20.80510092848336
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To make the earlier medical intervention of infants' cerebral palsy (CP), early diagnosis of brain damage is critical. Although general movements assessment(GMA) has shown promising results in early CP detection, it is laborious. Most existing works take videos as input to make fidgety movements(FMs) classification for the GMA automation. Those methods require a complete observation of videos and can not localize video frames containing normal FMs. Therefore we propose a novel approach named WO-GMA to perform FMs localization in the weakly supervised online setting. Infant body keypoints are first extracted as the inputs to WO-GMA. Then WO-GMA performs local spatio-temporal extraction followed by two network branches to generate pseudo clip labels and model online actions. With the clip-level pseudo labels, the action modeling branch learns to detect FMs in an online fashion. Experimental results on a dataset with 757 videos of different infants show that WO-GMA can get state-of-the-art video-level classification and cliplevel detection results. Moreover, only the first 20% duration of the video is needed to get classification results as good as fully observed, implying a significantly shortened FMs diagnosis time. Code is available at: https://github.com/scofiedluo/WO-GMA.
• Abstract（参考訳）: 幼児の脳性麻痺 (CP) の早期医学的治療を行うためには, 脳損傷の早期診断が重要である。 一般運動評価(GMA)は早期CP検出において有望な結果を示したが、それは困難である。 既存のほとんどの作品では、GMA自動化のために動画を入力としてフィジティ・ムーブメント(FM)の分類を行っている。 これらの手法はビデオの完全な観察を必要とし、通常のFMを含むビデオフレームのローカライズはできない。 そこで本稿では,弱教師付きオンライン環境でFMのローカライズを行うWO-GMAという手法を提案する。 幼児の身体キーポイントをWO−GMAへの入力として抽出する。 そして、WO-GMAは、ローカル時空間抽出を行い、2つのネットワーク分岐を行い、擬似クリップラベルを生成し、オンラインアクションをモデル化する。 クリップレベルの擬似ラベルにより、アクションモデリングブランチは、オンライン形式でFMを検出することを学ぶ。 異なる乳幼児の757本の動画をデータセット上で実験した結果、wo-gmaは最先端のビデオレベルの分類とクリップレベルの検出結果を得ることができる。 さらに、分類結果を十分に観察するためには、ビデオの最初の20%の期間しか必要とせず、FMの診断時間が大幅に短縮されたことを意味する。 コードはhttps://github.com/scofiedluo/WO-GMA.comで入手できる。

関連論文リスト

• VideoGLUE: Video General Understanding Evaluation of Foundation Models [89.07145427268948]
  我々は、慎重に設計された実験プロトコルを用いて、基礎モデル(FM)の映像理解能力を評価する。 一般的な映像理解タスクに適応する際のFMの目印と有効性について共同で検討する。
  論文  参考訳（メタデータ） (2023-07-06T17:47:52Z)
• SurgMAE: Masked Autoencoders for Long Surgical Video Analysis [4.866110274299399]
  マスク付きオートエンコーダ(MAE)は視覚変換器(ViT)の自己監督パラダイムに注目された 本稿では,外科的ビデオ領域における転送可能な表現をMAEが学習できるかどうかを最初に検討する。 本稿では,MAE用高テンポラルトークンをサンプリングするマスキング戦略を備えた新しいアーキテクチャであるSurgMAEを提案する。
  論文  参考訳（メタデータ） (2023-05-19T06:12:50Z)
• Semi-supervised Body Parsing and Pose Estimation for Enhancing Infant General Movement Assessment [11.33138866472943]
  乳児運動ビデオ(IMV)の一般運動評価(GMA)は、乳幼児の脳性麻痺(CP)の早期発見に有効な方法である。 本稿では、画像シーケンス認識のためのエンドツーエンドのトレーニング可能なニューラルネットワークが、GMAの優れた結果を得るために適用可能であることを実証する。 本研究では,SiamParseNet(SPN)と呼ばれる半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-14T18:46:30Z)
• Self-Supervised Masked Convolutional Transformer Block for Anomaly Detection [122.4894940892536]
  本稿では, 自己監督型マスク型畳み込み変圧器ブロック (SSMCTB) について述べる。 本研究では,従来の自己教師型予測畳み込み抑止ブロック(SSPCAB)を3次元マスク付き畳み込み層,チャンネルワイドアテンション用トランスフォーマー,およびハマーロスに基づく新たな自己教師型目標を用いて拡張する。
  論文  参考訳（メタデータ） (2022-09-25T04:56:10Z)
• Automated Classification of General Movements in Infants Using a Two-stream Spatiotemporal Fusion Network [5.541644538483947]
  幼児の全身運動(GM)の評価は神経発達障害の早期診断に有用である。 近年、ビデオベースのGM分類が注目されているが、これは無関係な情報の影響を強く受けている。 不要な背景情報を除去する前処理ネットワークからなる自動GM分類法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T05:21:09Z)
• A Spatio-temporal Attention-based Model for Infant Movement Assessment from Videos [44.71923220732036]
  本研究では,短いクリップから抽出した人間のポーズを用いた新たなフィジット動作評価法を開発した。 人間のポーズは関節と手足の運動プロファイルのみをキャプチャし、無関係な外観の人工物は含まない。 実験の結果,提案手法はROC-AUCスコア81.87%を達成し,既存の競合手法よりも高い性能を示し,高い解釈性を示した。
  論文  参考訳（メタデータ） (2021-05-20T14:31:54Z)
• One to Many: Adaptive Instrument Segmentation via Meta Learning and Dynamic Online Adaptation in Robotic Surgical Video [71.43912903508765]
  MDALは、ロボット支援手術における機器セグメンテーションのための動的オンライン適応学習スキームです。 ビデオ固有のメタ学習パラダイムを通じて、楽器の一般的な知識と高速適応能力を学ぶ。 2つのデータセットで他の最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-03-24T05:02:18Z)
• Learning from Weakly-labeled Web Videos via Exploring Sub-Concepts [89.06560404218028]
  検索ウェブビデオを用いたビデオ行動認識モデルの事前学習手法を提案する。 フィルタアウトする代わりに、これらのクエリービデオの潜在的なノイズを有用な監視信号に変換することを提案します。 SPLは擬似ラベルを用いた既存の事前学習戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-11T05:50:16Z)
• SiamParseNet: Joint Body Parsing and Label Propagation in Infant Movement Videos [12.99371655893686]
  乳児運動ビデオ(IMV)の一般運動評価(GMA)は、乳幼児の脳性麻痺(CP)の早期発見に有効な方法である。 半教師付きボディパーシングモデルSiamParseNet(SPN)を提案する。
  論文  参考訳（メタデータ） (2020-07-16T21:14:25Z)
• Gabriella: An Online System for Real-Time Activity Detection in Untrimmed Security Videos [72.50607929306058]
  本研究では,未トリミングされたセキュリティビデオ上でのアクティビティ検出をリアルタイムに行うオンラインシステムを提案する。 提案手法は, チューブレット抽出, 活性分類, オンラインチューブレットマージの3段階からなる。 提案手法の有効性を,100fps(100fps)と最新技術による性能評価で実証した。
  論文  参考訳（メタデータ） (2020-04-23T22:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。