論文の概要: On Evaluating Weakly Supervised Action Segmentation Methods
- arxiv url: http://arxiv.org/abs/2005.09743v3
- Date: Thu, 21 Oct 2021 17:16:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 14:15:44.393044
- Title: On Evaluating Weakly Supervised Action Segmentation Methods
- Title(参考訳): 弱修正動作分割法の評価について
- Authors: Yaser Souri, Alexander Richard, Luca Minciullo, Juergen Gall
- Abstract要約: 本研究は、弱い教師付き行動セグメント化アプローチの使用と評価の2つの側面に焦点を当てる。
それぞれの手法をBreakfastデータセット上で5回トレーニングし、平均および標準偏差を提供する。
実験の結果,これらの反復に対する標準偏差は1~2.5%であり,異なるアプローチの比較に大きく影響していることがわかった。
- 参考スコア(独自算出の注目度): 79.42955857919497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Action segmentation is the task of temporally segmenting every frame of an
untrimmed video. Weakly supervised approaches to action segmentation,
especially from transcripts have been of considerable interest to the computer
vision community. In this work, we focus on two aspects of the use and
evaluation of weakly supervised action segmentation approaches that are often
overlooked: the performance variance over multiple training runs and the impact
of selecting feature extractors for this task. To tackle the first problem, we
train each method on the Breakfast dataset 5 times and provide average and
standard deviation of the results. Our experiments show that the standard
deviation over these repetitions is between 1 and 2.5% and significantly
affects the comparison between different approaches. Furthermore, our
investigation on feature extraction shows that, for the studied
weakly-supervised action segmentation methods, higher-level I3D features
perform worse than classical IDT features.
- Abstract(参考訳): アクションセグメンテーション(Action segmentation)は、ビデオのすべてのフレームを時間的にセグメンテーションするタスクである。
特に転写物からのアクションセグメンテーションに対する弱い監督のアプローチは、コンピュータビジョンコミュニティに大きな関心を寄せてきた。
本研究では,複数のトレーニング実行におけるパフォーマンスのばらつきや特徴抽出器の選択の影響について,弱教師付きアクションセグメンテーションアプローチの使用と評価の2つの側面に着目した。
最初の問題に取り組むために,朝食データセット上の各メソッドを5回トレーニングし,結果の平均および標準偏差を提供する。
実験の結果, 繰り返しに対する標準偏差は1~2.5%であり, 異なるアプローチの比較に大きな影響を与えていることがわかった。
さらに, 機能抽出について検討した結果, 弱制御動作分割法では, 従来のIDTよりも高レベルI3D特性が劣ることがわかった。
関連論文リスト
- Proposal-Based Multiple Instance Learning for Weakly-Supervised Temporal
Action Localization [98.66318678030491]
微弱に監督された時間的行動ローカライゼーションは、トレーニング中にビデオレベルのカテゴリラベルのみを持つ未トリミングビデオのアクションをローカライズし、認識することを目的としている。
本稿では,提案手法をベースとしたP-MIL(Multiple Instance Learning)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T02:48:04Z) - Leveraging triplet loss for unsupervised action segmentation [0.0]
本稿では,アクションセグメンテーションタスクに適したアクション表現を,単一入力ビデオ自体から学習する,完全に教師なしのフレームワークを提案する。
本手法は,三重項損失が類似度分布に作用する浅層ネットワークに根ざした深部距離学習手法である。
このような状況下では、既存の教師なしアプローチと比較して、学習された行動表現の時間的境界を高い品質で回復することに成功した。
論文 参考訳(メタデータ) (2023-04-13T11:10:16Z) - Fine-grained Temporal Contrastive Learning for Weakly-supervised
Temporal Action Localization [87.47977407022492]
本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。
微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。
提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-03-31T05:13:50Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳(メタデータ) (2022-02-25T13:47:09Z) - Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and
Contrastive Meta-Learning [51.03781020616402]
現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。
そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。
粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
論文 参考訳(メタデータ) (2021-08-15T02:21:01Z) - Unsupervised Action Segmentation with Self-supervised Feature Learning
and Co-occurrence Parsing [32.66011849112014]
時間的アクションセグメンテーションは、ビデオの各フレームをアクションラベルで分類するタスクである。
本研究では,ラベル付けされていないビデオのコーパスで動作する自己教師型手法を探索し,ビデオ全体にわたる時間的セグメントのセットを予測する。
我々は,行動の構造に基づくサブアクション間の相関を捉えるだけでなく,そのサブアクションの時間的軌跡を正確かつ一般的な方法で推定する,新しい共起動作解析アルゴリズムであるCAPを開発した。
論文 参考訳(メタデータ) (2021-05-29T00:29:40Z) - Delving into 3D Action Anticipation from Streaming Videos [99.0155538452263]
アクション予測は、部分的な観察でアクションを認識することを目的としている。
本稿では,いくつかの相補的評価指標を導入し,フレームワイド動作分類に基づく基本モデルを提案する。
また,全動作表現とクラス非依存行動ラベルという2つの側面から補助情報を取り入れたマルチタスク学習戦略についても検討する。
論文 参考訳(メタデータ) (2019-06-15T10:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。