論文の概要: Eyes Wide Unshut: Unsupervised Mistake Detection in Egocentric Procedural Video by Detecting Unpredictable Gaze
- arxiv url: http://arxiv.org/abs/2406.08379v3
- Date: Tue, 30 Jul 2024 09:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 21:43:34.804307
- Title: Eyes Wide Unshut: Unsupervised Mistake Detection in Egocentric Procedural Video by Detecting Unpredictable Gaze
- Title(参考訳): 目が広いアンシャット:予測不能な迷路を検出することで、自己中心型プロシージャビデオにおける教師なしの誤検出
- Authors: Michele Mazzamuto, Antonino Furnari, Giovanni Maria Farinella,
- Abstract要約: 本研究では,人間活動のビデオにおける誤り検出のための教師なし手法を提案する。
対象が手順の実行時に誤りを犯している場合、その注意パターンは正常性から逸脱する、と仮定する。
我々は、入力ビデオから予測される視線軌跡と、視線追跡装置を介して収集された地中真相視線信号とを比較した。
- 参考スコア(独自算出の注目度): 13.99137623722021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we address the challenge of unsupervised mistake detection in egocentric procedural video through the analysis of gaze signals. Traditional supervised mistake detection methods rely on manually labeled mistakes, and hence suffer from domain-dependence and scalability issues. We introduce an unsupervised method for detecting mistakes in videos of human activities, overcoming the challenges of domain-specific requirements and the need for annotated data. We postulate that, when a subject is making a mistake in the execution of a procedure, their attention patterns will deviate from normality. We hence propose to detect mistakes by comparing gaze trajectories predicted from input video with ground truth gaze signals collected through a gaze tracker. Since predicting gaze in video is characterized by high uncertainty, we propose a novel \textit{gaze completion task}, which aims to predict gaze from visual observations and partial gaze trajectories. We further contribute a \textit{gaze completion approach} based on a Gaze-Frame Correlation module to explicitly model the correlation between gaze information and each local visual token. Inconsistencies between the predicted and observed gaze trajectories act as an indicator for identifying mistakes. Experiments on the EPIC-Tent, HoloAssist and IndustReal datasets showcase the effectiveness of the proposed approach as compared to unsupervised and one-class techniques. Our method is ranked first on the HoloAssist Mistake Detection challenge.
- Abstract(参考訳): 本稿では,視線信号の解析による自己中心型手続きビデオにおける教師なし誤り検出の課題に対処する。
従来の教師付きミス検出手法は手動でラベル付けされたミスに依存しており、ドメイン依存性やスケーラビリティの問題に悩まされている。
本研究では,人間活動のビデオにおける誤り検出の教師なし手法を導入し,ドメイン固有要件の課題と注釈付きデータの必要性を克服する。
対象が手順の実行時に誤りを犯している場合、その注意パターンは正常性から逸脱する、と仮定する。
そこで我々は,入力ビデオから予測される視線軌跡と,視線追跡装置から収集した地中真相視線信号とを比較し,誤りを検出することを提案する。
映像における視線予測は不確実性が高いのが特徴であるため,視覚的視線と部分的な視線軌跡から視線を予測することを目的とした,新しい「textit{gaze completion task」を提案する。
視線情報と各局所的視覚トークンの相関関係を明示的にモデル化するために,Gaze-Frame correlationモジュールをベースとした‘textit{gaze completion approach’ も提案する。
予測された視線軌道と観測された視線軌道の矛盾は、誤りを特定する指標として機能する。
EPIC-Tent, HoloAssist, IndustRealの各データセットの実験では, 教師なし, ワンクラスの手法と比較して, 提案手法の有効性が示された。
本手法はHoloAssist Mistake Detection Challengeで第1位にランクされている。
関連論文リスト
- OOSTraj: Out-of-Sight Trajectory Prediction With Vision-Positioning Denoising [49.86409475232849]
軌道予測はコンピュータビジョンと自律運転の基本である。
この分野における既存のアプローチは、しばしば正確で完全な観測データを仮定する。
本稿では,視覚的位置決め技術を利用した視線外軌道予測手法を提案する。
論文 参考訳(メタデータ) (2024-04-02T18:30:29Z) - GlanceVAD: Exploring Glance Supervision for Label-efficient Video
Anomaly Detection [36.73022075416943]
本稿では,異常検出精度とアノテーションコストのバランスを改善するために,"glance annotations"と呼ばれる新しいラベリングパラダイムを提案する。
本手法の有効性を評価するため,UCF-Crime と XD-Violence の2つの標準ビデオ異常検出データセットに対して,視線アノテーションを手動でアノテートする。
また,Ssianカーネルを基本単位として時間的異常分布を構成するGlanceVAD法を提案する。
論文 参考訳(メタデータ) (2024-03-10T09:57:10Z) - Progressing from Anomaly Detection to Automated Log Labeling and
Pioneering Root Cause Analysis [53.24804865821692]
本研究では、ログ異常の分類を導入し、ラベル付けの課題を軽減するために、自動ラベリングについて検討する。
この研究は、根本原因分析が異常検出に続く未来を予見し、異常の根本原因を解明する。
論文 参考訳(メタデータ) (2023-12-22T15:04:20Z) - Few-shot Message-Enhanced Contrastive Learning for Graph Anomaly
Detection [15.757864894708364]
グラフ異常検出は、多数派から大きく逸脱するグラフデータの例外的なインスタンスを特定する上で重要な役割を果たす。
我々はFMGADと呼ばれる新しい数ショットグラフ異常検出モデルを提案する。
FMGADは, 人工的に注入された異常やドメイン・有機異常によらず, 他の最先端手法よりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2023-11-17T07:49:20Z) - Open-Vocabulary Video Anomaly Detection [57.552523669351636]
監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。
近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。
本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
論文 参考訳(メタデータ) (2023-11-13T02:54:17Z) - A Coarse-to-Fine Pseudo-Labeling (C2FPL) Framework for Unsupervised
Video Anomaly Detection [4.494911384096143]
ビデオにおける異常事象の検出は、監視などのアプリケーションにおいて重要な問題である。
セグメントレベル(正規/異常)の擬似ラベルを生成する簡易な2段擬似ラベル生成フレームワークを提案する。
提案した粗大な擬似ラベル生成器は、慎重に設計された階層的分割クラスタリングと統計的仮説テストを用いている。
論文 参考訳(メタデータ) (2023-10-26T17:59:19Z) - Towards Self-Interpretable Graph-Level Anomaly Detection [73.1152604947837]
グラフレベルの異常検出(GLAD)は、コレクションの大多数と比べて顕著な相違を示すグラフを識別することを目的としている。
本稿では,異常なグラフを検出し,同時に情報的説明を生成する自己解釈グラフaNomaly dETectionモデル(SIGNET)を提案する。
論文 参考訳(メタデータ) (2023-10-25T10:10:07Z) - Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images
with Free Attention Masks [64.67735676127208]
テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。
有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。
上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
論文 参考訳(メタデータ) (2023-08-13T10:07:46Z) - Unsupervised Video Anomaly Detection for Stereotypical Behaviours in
Autism [20.09315869162054]
本稿では,コンピュータビジョン技術を用いてステレオタイプ行動を自動的に検出することに焦点を当てる。
本研究では、人間のポーズの時間的軌跡と人間の行動の反復パターンに基づいて、ステレオタイプ行動検出のためのデュアルストリーム深度モデル(DS-SBD)を提案する。
論文 参考訳(メタデータ) (2023-02-27T13:24:08Z) - Anomaly Detection Requires Better Representations [28.611440466398715]
異常検出は、科学と産業の中心的な課題である異常な現象を特定することを目指している。
自己教師付き表現学習の最近の進歩は、異常検出の改善を促している。
論文 参考訳(メタデータ) (2022-10-19T17:59:32Z) - Manifolds for Unsupervised Visual Anomaly Detection [79.22051549519989]
トレーニングで必ずしも異常に遭遇しない教師なしの学習方法は、非常に有用です。
ジャイロプレーン層を用いた立体投影による超球形変分オートエンコーダ(VAE)を開発した。
工業用AIシナリオにおける実世界の実用性を実証し、精密製造および検査における視覚異常ベンチマークの最先端結果を示す。
論文 参考訳(メタデータ) (2020-06-19T20:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。