論文の概要: OnlineTAS: An Online Baseline for Temporal Action Segmentation
- arxiv url: http://arxiv.org/abs/2411.01122v1
- Date: Sat, 02 Nov 2024 03:52:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:40:06.238449
- Title: OnlineTAS: An Online Baseline for Temporal Action Segmentation
- Title（参考訳）: OnlineTAS: 一時的なアクションセグメンテーションのためのオンラインベースライン
- Authors: Qing Zhong, Guodong Ding, Angela Yao,
- Abstract要約: この研究は、時間的行動セグメンテーションのためのオンラインフレームワークを提示する。
フレームワークの中核は、時間とともに動的に変化するコンテキストに対応するよう設計されたアダプティブメモリである。
さらに,オンライン環境における重度の過偏化を軽減するための後処理手法を提案する。
- 参考スコア（独自算出の注目度）: 37.78120420622088
- License:
- Abstract: Temporal context plays a significant role in temporal action segmentation. In an offline setting, the context is typically captured by the segmentation network after observing the entire sequence. However, capturing and using such context information in an online setting remains an under-explored problem. This work presents the an online framework for temporal action segmentation. At the core of the framework is an adaptive memory designed to accommodate dynamic changes in context over time, alongside a feature augmentation module that enhances the frames with the memory. In addition, we propose a post-processing approach to mitigate the severe over-segmentation in the online setting. On three common segmentation benchmarks, our approach achieves state-of-the-art performance.
- Abstract（参考訳）: 時間的文脈は時間的行動セグメンテーションにおいて重要な役割を果たす。
オフライン設定では、コンテキストは通常、シーケンス全体を観察した後、セグメンテーションネットワークによってキャプチャされる。
しかし、そのようなコンテキスト情報をオンライン環境で取得して利用することは、まだ未解決の問題である。
この研究は、時間的行動セグメンテーションのためのオンラインフレームワークを提示する。
フレームワークのコアとなるのは、時間とともに動的に変化するコンテキストに対応するよう設計された適応メモリと、メモリでフレームを強化する機能拡張モジュールである。
さらに,オンライン環境における重度の過偏化を軽減するための後処理手法を提案する。
3つの共通セグメンテーションベンチマークにおいて,本手法は最先端の性能を実現する。
関連論文リスト
- Online Temporal Action Localization with Memory-Augmented Transformer [61.39427407758131]
オンライン時間的行動ローカライゼーションのためのメモリ拡張変換器(MATR)を提案する。
MATRは過去のセグメントの特徴を選択的に保存し、推論に長期的コンテキストを活用する。
また,現在進行中の動作の終了時刻を予測するために入力セグメントを観測し,メモリキューにアクセスして動作開始時刻を推定する新たな動作ローカライズ手法を提案する。
論文 参考訳（メタデータ） (2024-08-06T04:55:33Z) - O-TALC: Steps Towards Combating Oversegmentation within Online Action Segmentation [0.48748194765816943]
本稿では、バックボーン動作認識モデルのトレーニングと推論を改善する2つの方法を提案する。
まず、トレーニング中の高密度サンプリングを導入し、トレーニングと推論クリップマッチングを容易にし、セグメント境界予測を改善する。
第2に,オンライン推論における過小評価を明示的に低減するオンライン一時認識ラベルクリーニング(O-TALC)戦略を導入する。
論文 参考訳（メタデータ） (2024-04-10T10:36:15Z) - Temporally Consistent Referring Video Object Segmentation with Hybrid Memory [98.80249255577304]
本稿では,参照セグメンテーションとともに時間的一貫性を明示的にモデル化する,エンドツーエンドなR-VOSパラダイムを提案する。
自動生成された高品質の参照マスクを有するフレームの特徴は、残りのフレームをセグメント化するために伝播される。
大規模な実験により,本手法は時間的整合性を著しく向上させることが示された。
論文 参考訳（メタデータ） (2024-03-28T13:32:49Z) - TAEC: Unsupervised Action Segmentation with Temporal-Aware Embedding and
Clustering [27.52568444236988]
本稿では,教師なしの動画シーケンスからアクションクラスを学習するための教師なしアプローチを提案する。
特に,相対時間予測,特徴再構成,シーケンス・ツー・シーケンス学習を組み合わせた時間的埋め込みネットワークを提案する。
識別されたクラスタに基づいて、ビデオは意味論的に意味のあるアクションクラスに対応するコヒーレントな時間セグメントにデコードする。
論文 参考訳（メタデータ） (2023-03-09T10:46:23Z) - Temporal Segment Transformer for Action Segmentation [54.25103250496069]
本稿では,テキスト・セグメント・トランスフォーマ (textittemporal segment transformer) と呼ぶアテンション・ベース・アプローチを提案する。
主な考え方は、セグメントとフレームの間の注意を用いてセグメント表現を識別することであり、またセグメント間の時間的相関を捉えるためにセグメント間注意を用いる。
このアーキテクチャは,50Salads,GTEA,Breakfastのベンチマークにおいて,最先端の精度を実現していることを示す。
論文 参考訳（メタデータ） (2023-02-25T13:05:57Z) - Local Memory Attention for Fast Video Semantic Segmentation [157.7618884769969]
既存の単一フレームセマンティックセグメンテーションモデルをビデオセマンティックセグメンテーションパイプラインに変換する新しいニューラルネットワークモジュールを提案する。
我々のアプローチは過去のフレームにおける意味情報の豊富な表現をメモリモジュールに集約する。
都市景観におけるセグメンテーション性能は,それぞれ1.7%,2.1%改善し,erfnetの推論時間は1.5msに抑えられた。
論文 参考訳（メタデータ） (2021-01-05T18:57:09Z) - Hierarchical Attention Network for Action Segmentation [45.19890687786009]
イベントの時間的セグメンテーションは、ビデオにおける人間の行動の自動認識のための重要なタスクであり、前駆体である。
我々は、時間とともに行動間の関係をよりよく学習できる、エンドツーエンドの教師あり学習手法を提案する。
我々は,MERLショッピング,50サラダ,ジョージア技術エゴセントリックデータセットなど,公開ベンチマークデータセットの課題を評価する。
論文 参考訳（メタデータ） (2020-05-07T02:39:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。