論文の概要: ConsensusTAS: Self-Supervised Temporal Action Segmentation for Long-Horizon Construction Videos
- arxiv url: http://arxiv.org/abs/2608.24043v1
- Date: Tue, 25 Aug 2026 04:05:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.808837
- Title: ConsensusTAS: Self-Supervised Temporal Action Segmentation for Long-Horizon Construction Videos
- Title（参考訳）: ConsensusTAS:ロングホライゾン・コンストラクション・ビデオのためのセルフ・スーパービジョン・テンポラル・アクション・セグメンテーション
- Abstract要約: 本稿では,連続ビデオストリームを個別のアクティビティフェーズに分割する自己教師型学習手法であるConsensusTASを提案する。
提案手法は,ビデオ監視と人間ロボットのコラボレーションに実用的な価値を提供するCPU上で動作可能である。
- 参考スコア（独自算出の注目度）: 1.5755923640031846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recognizing sequential construction activities is important for collaborative human-robot work; for example, robots are able to understand workers' current and upcoming actions and provide timely tool delivery or physical support. However, despite extensive research on construction worker activity recognition, existing studies have been limited to classifying activity categories, such as climbing, lifting, and walking, instead of recognizing fine-grained activity transitions from long-horizon sequences. Addressing this problem is challenging because annotating action temporal boundaries in long construction videos is time-consuming. In this study, we propose ConsensusTAS, a label-free, self-supervised learning approach to segment continuous video streams into distinct activity phases by exploiting the internal consensus of candidate segmentations. We evaluated our algorithm on three public datasets, where it outperformed state-of-the-art methods, achieving an F1@10 of 73.08 on GTEA, an F1@10 of 64.33 on Breakfast, and an F1@50 of 33.50 on static-camera videos from Assembly101. We also tested it on real-world construction videos, where post-hoc evaluation showed that the model successfully recognized and segmented actions within the composite activity of bricklaying, such as spreading mortar on a brick, placing the brick, pressing, and aligning. Compared with other temporal action segmentation models that require computationally intensive large vision-language models, our method can run on a CPU, which provides practical value for video surveillance and human-robot collaboration on mobile robotic platforms.
- Abstract（参考訳）: 例えば、ロボットは労働者の現在および今後の行動を理解し、タイムリーなツール配信や物理的な支援を提供することができる。
しかしながら、建設作業員の活動認識に関する広範な研究にもかかわらず、既存の研究は、長い水平配列からのきめ細かい活動遷移を認識するのではなく、登山、昇降、歩行といった活動カテゴリーの分類に限られている。
長い建設ビデオの動作時間境界の注釈付けには時間がかかるため、この問題に対処することは難しい。
本研究では,ラベルのない自己指導型学習手法であるConsensusTASを提案する。
GTEAで73.08のF1@10、Breakfastで64.33のF1@10、Ambly101の静的カメラビデオで33.50のF1@50を達成。
また, 実世界の建設現場でも実演し, ポストホック評価の結果, レンガにモルタルを分散させたり, レンガを載置したり, 押圧したり, 整列したりして, レンガの複合活動において, モデルが正常に認識され, セグメンテーションされた行動を示すことができた。
計算集約的な大規模視覚言語モデルを必要とする他の時間的行動セグメンテーションモデルと比較して,本手法はCPU上で動作可能である。
関連論文リスト
- SVAG-Bench: A Large-Scale Benchmark for Multi-Instance Spatio-temporal Video Action Grounding [48.64661382961745]
本研究では,ビデオ中のすべての参照オブジェクトを同時に検出,追跡,時間的ローカライズするモデルを必要とする新しいタスクである,SVAG(Spatio-temporal Video Action Grounding)を紹介する。
SVAG-Benchは688の動画、19,590の注釈付きレコード、903のユニークな動詞からなる大規模ベンチマークである。
実験の結果、既存のモデルではSVAG、特に密集したシーンや複雑なシーンでは性能が良くないことがわかった。
論文 参考訳（メタデータ） (2025-10-14T22:10:49Z) - Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control [72.00655365269]
本稿では,協調的軌跡定式化を通じてオブジェクト間ダイナミクスをモデル化する新しいフレームワークであるRoboMasterを紹介する。
オブジェクトを分解する従来の方法とは異なり、我々のコアは、相互作用プロセスを3つのサブステージ(相互作用前、相互作用後、相互作用後)に分解することである。
提案手法は既存の手法よりも優れており,ロボット操作のための軌道制御ビデオ生成における最先端性能を確立している。
論文 参考訳（メタデータ） (2025-06-02T17:57:06Z) - BIT: Bi-Level Temporal Modeling for Efficient Supervised Action
Segmentation [34.88225099758585]
教師付きアクションセグメンテーションは、ビデオを重複しないセグメントに分割することを目的としており、それぞれが異なるアクションを表す。
最近の研究は、高い計算コストを被るフレームレベルでの時間的モデリングを行うためにトランスフォーマーを適用している。
本稿では,アクションセグメントを表現するために明示的なアクショントークンを学習する,BIレベルの効率的な時間モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-28T20:59:15Z) - TAEC: Unsupervised Action Segmentation with Temporal-Aware Embedding and
Clustering [27.52568444236988]
本稿では,教師なしの動画シーケンスからアクションクラスを学習するための教師なしアプローチを提案する。
特に,相対時間予測,特徴再構成,シーケンス・ツー・シーケンス学習を組み合わせた時間的埋め込みネットワークを提案する。
識別されたクラスタに基づいて、ビデオは意味論的に意味のあるアクションクラスに対応するコヒーレントな時間セグメントにデコードする。
論文 参考訳（メタデータ） (2023-03-09T10:46:23Z) - Activity Detection in Long Surgical Videos using Spatio-Temporal Models [1.2400116527089995]
本稿では,最先端のアクティビティ認識と時間モデルの両方について検討する。
手術室の大規模活動認識データセットに,800本以上のフル長の手術ビデオを用いて,これらのモデルをベンチマークした。
ラベル付きデータに制限がある場合であっても、他のタスクで事前トレーニングされたモデルから恩恵を受ければ、既存の作業よりも優れることを示す。
論文 参考訳（メタデータ） (2022-05-05T17:34:33Z) - Learning To Recognize Procedural Activities with Distant Supervision [96.58436002052466]
最大数分間の長いビデオから、きめ細かな多段階のアクティビティを分類する問題を考察する。
提案手法は,ビデオから自動書き起こされた音声の雑音に合う言語モデルを用いて,知識ベースで記述をステップする。
論文 参考訳（メタデータ） (2022-01-26T15:06:28Z) - Unsupervised Action Segmentation with Self-supervised Feature Learning
and Co-occurrence Parsing [32.66011849112014]
時間的アクションセグメンテーションは、ビデオの各フレームをアクションラベルで分類するタスクである。
本研究では,ラベル付けされていないビデオのコーパスで動作する自己教師型手法を探索し,ビデオ全体にわたる時間的セグメントのセットを予測する。
我々は,行動の構造に基づくサブアクション間の相関を捉えるだけでなく,そのサブアクションの時間的軌跡を正確かつ一般的な方法で推定する,新しい共起動作解析アルゴリズムであるCAPを開発した。
論文 参考訳（メタデータ） (2021-05-29T00:29:40Z) - Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。
ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-03T23:43:55Z) - Learning Motion Flows for Semi-supervised Instrument Segmentation from
Robotic Surgical Video [64.44583693846751]
本研究は,スパースアノテーションを用いたロボット手術ビデオから半教師楽器のセグメンテーションについて検討する。
生成されたデータペアを利用することで、我々のフレームワークはトレーニングシーケンスの時間的一貫性を回復し、強化することができます。
その結果,本手法は最先端の半教師あり手法よりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-06T02:39:32Z) - ZSTAD: Zero-Shot Temporal Activity Detection [107.63759089583382]
本研究では,ゼロショット時間的活動検出(ZSTAD)と呼ばれる新たなタスク設定を提案する。
このソリューションのアーキテクチャとして,R-C3Dに基づくエンドツーエンドのディープネットワークを設計する。
THUMOS14とCharadesデータセットの両方の実験は、目に見えない活動を検出するという点で有望なパフォーマンスを示している。
論文 参考訳（メタデータ） (2020-03-12T02:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。