論文の概要: Leveraging Action Affinity and Continuity for Semi-supervised Temporal Action Segmentation

• arxiv url: http://arxiv.org/abs/2207.08653v1
• Date: Mon, 18 Jul 2022 14:52:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 15:08:52.637151
• Title: Leveraging Action Affinity and Continuity for Semi-supervised Temporal Action Segmentation
• Title（参考訳）: 半教師付き時間行動セグメンテーションにおける行動親和性と継続性
• Authors: Guodong Ding and Angela Yao
• Abstract要約: 本稿では,時間的行動分割タスクに対する半教師付き学習手法を提案する。 このタスクの目的は、長い、トリミングされていないプロシージャビデオにおいて、時間的にアクションを検出し、セグメント化することである。 本稿では,非競合データに対して,アクション親和性損失とアクション連続性損失の2つの新たな損失関数を提案する。
• 参考スコア（独自算出の注目度）: 24.325716686674042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a semi-supervised learning approach to the temporal action segmentation task. The goal of the task is to temporally detect and segment actions in long, untrimmed procedural videos, where only a small set of videos are densely labelled, and a large collection of videos are unlabelled. To this end, we propose two novel loss functions for the unlabelled data: an action affinity loss and an action continuity loss. The action affinity loss guides the unlabelled samples learning by imposing the action priors induced from the labelled set. Action continuity loss enforces the temporal continuity of actions, which also provides frame-wise classification supervision. In addition, we propose an Adaptive Boundary Smoothing (ABS) approach to build coarser action boundaries for more robust and reliable learning. The proposed loss functions and ABS were evaluated on three benchmarks. Results show that they significantly improved action segmentation performance with a low amount (5% and 10%) of labelled data and achieved comparable results to full supervision with 50% labelled data. Furthermore, ABS succeeded in boosting performance when integrated into fully-supervised learning.
• Abstract（参考訳）: 本稿では,時間的行動分割タスクに対する半教師付き学習手法を提案する。 このタスクの目標は、短いビデオセットだけが密にラベル付けされ、大量のビデオがラベル付けされていない長い手続きビデオで、一時的にアクションを検出し、セグメント化することである。 そこで本研究では,非ラベルデータに対する2つの新しい損失関数,アクションアフィニティ損失とアクション連続損失を提案する。 動作アフィニティ損失はラベル付き集合から誘導される動作優先値を設定することにより、ラベル付きサンプル学習を導く。 アクション連続性損失は、アクションの一時的な連続性を強制する。 さらに、より堅牢で信頼性の高い学習のための粗いアクション境界を構築するための適応境界平滑化(ABS)手法を提案する。 提案した損失関数とABSを3つのベンチマークで評価した。 その結果、ラベル付きデータの低量(5%と10%)でアクションセグメンテーション性能を著しく改善し、50%のラベル付きデータによる完全な監視に匹敵する結果を得た。 さらにABSは、完全に教師付き学習に統合された場合のパフォーマンス向上に成功した。

関連論文リスト

• Progression-Guided Temporal Action Detection in Videos [20.02711550239915]
  本稿では,時間的行動検出(TAD)のための新しいフレームワークであるAction Progression Network(APN)を提案する。 このフレームワークは、アクション進化プロセスを検出して、ビデオ中のアクションを見つける。 完全なアクションプロセスを101段階に定量化し、アクションの進行を認識するためにニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2023-08-18T03:14:05Z)
• TAEC: Unsupervised Action Segmentation with Temporal-Aware Embedding and Clustering [27.52568444236988]
  本稿では,教師なしの動画シーケンスからアクションクラスを学習するための教師なしアプローチを提案する。 特に,相対時間予測,特徴再構成,シーケンス・ツー・シーケンス学習を組み合わせた時間的埋め込みネットワークを提案する。 識別されたクラスタに基づいて、ビデオは意味論的に意味のあるアクションクラスに対応するコヒーレントな時間セグメントにデコードする。
  論文  参考訳（メタデータ） (2023-03-09T10:46:23Z)
• End-to-End Semi-Supervised Learning for Video Action Detection [23.042410033982193]
  ラベルのないデータを効果的に活用するシンプルなエンドツーエンドアプローチを提案する。 ビデオアクション検出には、アクションクラス予測と時間的一貫性の両方が必要である。 提案手法が2つの異なる行動検出ベンチマークデータセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-08T18:11:25Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)
• Flip Learning: Erase to Segment [65.84901344260277]
  弱い教師付きセグメンテーション(WSS)は、時間と面倒な手作業のアノテーションを減らすのに役立ちます。 ボックスアノテーションのみを必要とするFlip Learningという,斬新で汎用的なWSSフレームワークを提案する。 提案手法は,完全教師付き学習と弱教師付き学習のギャップを狭める大きな可能性を示す。
  論文  参考訳（メタデータ） (2021-08-02T09:56:10Z)
• Unsupervised Action Segmentation with Self-supervised Feature Learning and Co-occurrence Parsing [32.66011849112014]
  時間的アクションセグメンテーションは、ビデオの各フレームをアクションラベルで分類するタスクである。 本研究では,ラベル付けされていないビデオのコーパスで動作する自己教師型手法を探索し,ビデオ全体にわたる時間的セグメントのセットを予測する。 我々は,行動の構造に基づくサブアクション間の相関を捉えるだけでなく,そのサブアクションの時間的軌跡を正確かつ一般的な方法で推定する,新しい共起動作解析アルゴリズムであるCAPを開発した。
  論文  参考訳（メタデータ） (2021-05-29T00:29:40Z)
• Weakly Supervised Temporal Action Localization with Segment-Level Labels [140.68096218667162]
  時間的アクションローカライゼーションは、テストパフォーマンスとアノテーション時間コストのトレードオフを示す。 ここでは、アノテーションがアクションを観察するときにセグメントがラベル付けされる。 我々は、ラベル付きセグメントから積分的な動作部分を学ぶために、損失サンプリングと見なされる部分的なセグメント損失を考案する。
  論文  参考訳（メタデータ） (2020-07-03T10:32:19Z)
• Self-supervised Video Object Segmentation [76.83567326586162]
  本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。 i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
  論文  参考訳（メタデータ） (2020-06-22T17:55:59Z)
• On Evaluating Weakly Supervised Action Segmentation Methods [79.42955857919497]
  本研究は、弱い教師付き行動セグメント化アプローチの使用と評価の2つの側面に焦点を当てる。 それぞれの手法をBreakfastデータセット上で5回トレーニングし、平均および標準偏差を提供する。 実験の結果,これらの反復に対する標準偏差は1～2.5%であり,異なるアプローチの比較に大きく影響していることがわかった。
  論文  参考訳（メタデータ） (2020-05-19T20:30:31Z)
• ZSTAD: Zero-Shot Temporal Activity Detection [107.63759089583382]
  本研究では,ゼロショット時間的活動検出(ZSTAD)と呼ばれる新たなタスク設定を提案する。 このソリューションのアーキテクチャとして,R-C3Dに基づくエンドツーエンドのディープネットワークを設計する。 THUMOS14とCharadesデータセットの両方の実験は、目に見えない活動を検出するという点で有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-03-12T02:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。