論文の概要: MistExit: Learning to Exit for Early Mistake Detection in Procedural Videos
- arxiv url: http://arxiv.org/abs/2603.14252v1
- Date: Sun, 15 Mar 2026 07:14:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.701588
- Title: MistExit: Learning to Exit for Early Mistake Detection in Procedural Videos
- Title(参考訳): MistExit: プロシージャビデオにおける早期誤検出のための学習
- Authors: Sagnik Majumder, Anish Nethi, Ziad Al-Halah, Kristen Grauman,
- Abstract要約: ビデオにおける早期誤り検出の課題について紹介する。
本研究の目的は,プロシージャ活動におけるキーステップが,ストリーミング映像を可能な限り少なく観察しながら正しく実行されるかどうかを判断することである。
本稿では,誤り検出と強化学習ポリシを組み合わせた手法を提案する。
- 参考スコア(独自算出の注目度): 53.5354731425141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce the task of early mistake detection in video, where the goal is to determine whether a keystep in a procedural activity is performed correctly while observing as little of the streaming video as possible. To tackle this problem, we propose a method comprising a mistake detector and a reinforcement learning policy. At each timestep, the detector processes recently observed frames to estimate the keystep's correctness while anticipating future visual features, enabling reliable early mistake estimates. Meanwhile, the policy aggregates the detector outputs and visual observations over time and adaptively decides when to exit (i.e., stop processing incoming frames) while producing the final prediction. Using diverse real-world procedural video datasets, we demonstrate that our MistExit model achieves superior mistake detection accuracy while reducing the fraction of video observed compared to state-of-the-art models. Project: https://vision.cs.utexas.edu/projects/mist_exit.
- Abstract(参考訳): 本稿では,動画における早期誤検出の課題について紹介する。この課題は,プロシージャ活動におけるキーステップが,可能な限り少ないストリーミング映像を観察しながら,正しく実行されるかどうかを判断することである。
そこで本研究では,誤り検出と強化学習ポリシを組み合わせた手法を提案する。
各タイミングで、検出器プロセスは、最近フレームを観察し、将来の視覚的特徴を予測しながらキーステップの正しさを推定し、信頼性の高い早期誤り推定を可能にした。
一方、ポリシーは検出器出力と視覚観察を時間とともに集約し、最終予測を生成しながらいつ終了するか(つまり、受信フレームの処理を停止する)を適応的に決定する。
種々の実世界のプロシージャビデオデータセットを用いて、我々のMistExitモデルが、最先端のモデルと比較して観察されるビデオの割合を減らしながら、より優れた誤り検出精度を達成できることを実証する。
プロジェクト:https://vision.cs.utexas.edu/projects/mist_exit.com
関連論文リスト
- Gazing Into Missteps: Leveraging Eye-Gaze for Unsupervised Mistake Detection in Egocentric Videos of Skilled Human Activities [25.049754180292034]
我々は、視線信号の解析を通して、自我中心ビデオにおける教師なし誤り検出の課題に対処する。
眼球運動が被写体操作活動に密接に従うという観察に基づいて,視線信号が誤検出をどの程度支援できるかを評価する。
予測された視線軌道と観測された視線軌道の矛盾は、誤りを特定する指標として機能する。
論文 参考訳(メタデータ) (2024-06-12T16:29:45Z) - PREGO: online mistake detection in PRocedural EGOcentric videos [49.72812518471056]
自己中心型ビデオにおける誤り検出のための,最初のオンライン一級分類モデルであるPregoを提案する。
PreGOは、現在のアクションをモデル化するオンラインアクション認識コンポーネントと、次のアクションを予測するシンボリック推論モジュールに基づいている。
手続き的誤り検出のオンラインベンチマークに適応する2つの手続き的自己中心型ビデオデータセットであるAmbly101とEpic-tentについてPreGOを評価した。
論文 参考訳(メタデータ) (2024-04-02T13:27:28Z) - SOAR: Scene-debiasing Open-set Action Recognition [81.8198917049666]
本稿では、対向的なシーン再構成モジュールと適応的な対向的なシーン分類モジュールを備えた、Scene-debiasing Open-set Action Recognition (SOAR)を提案する。
前者は、デコーダが映像特徴の映像背景を再構成することを防止し、特徴学習における背景情報を低減する。
後者は、アクションフォアグラウンドに特に重点を置いて、映像の特徴を与えられたシーンタイプの分類を混乱させることを目的としており、シーン不変情報を学習するのに役立つ。
論文 参考訳(メタデータ) (2023-09-03T20:20:48Z) - Future Video Prediction from a Single Frame for Video Anomaly Detection [0.38073142980732994]
ビデオ異常検出(VAD)はコンピュータビジョンにおいて重要であるが難しい課題である。
本稿では,ビデオ異常検出のための新しいプロキシタスクとして,将来のフレーム予測プロキシタスクを紹介する。
このプロキシタスクは、より長い動きパターンを学習する従来の手法の課題を軽減する。
論文 参考訳(メタデータ) (2023-08-15T14:04:50Z) - Real-Time Driver Monitoring Systems through Modality and View Analysis [28.18784311981388]
ドライバーの気晴らしが道路事故の主要な原因であることが知られている。
State-of-the-artメソッドはレイテンシを無視しながら精度を優先する。
本稿では,ビデオフレーム間の時間的関係を無視した時間効率な検出モデルを提案する。
論文 参考訳(メタデータ) (2022-10-17T21:22:41Z) - Multi-Contextual Predictions with Vision Transformer for Video Anomaly
Detection [22.098399083491937]
ビデオの時間的文脈を理解することは、異常検出において重要な役割を果たす。
我々は3つの異なる文脈予測ストリームを持つトランスモデルを設計する。
連続する正常フレームの欠落フレームの予測を学習することにより、ビデオ内の様々な正常パターンを効果的に学習することができる。
論文 参考訳(メタデータ) (2022-06-17T05:54:31Z) - Robust Unsupervised Video Anomaly Detection by Multi-Path Frame
Prediction [61.17654438176999]
本稿では,フレーム予測と適切な設計による新規で頑健な非教師付きビデオ異常検出手法を提案する。
提案手法は,CUHK Avenueデータセット上で88.3%のフレームレベルAUROCスコアを得る。
論文 参考訳(メタデータ) (2020-11-05T11:34:12Z) - Uncertainty-Aware Weakly Supervised Action Detection from Untrimmed
Videos [82.02074241700728]
本稿では,ビデオフレームラベルのみを用いてトレーニングした,禁止レベルの行動認識モデルを提案する。
人1人当たりの手法は、複数のインスタンス学習フレームワーク内の大規模な画像データセットで訓練されている。
標準的な多重インスタンス学習の仮定では、各バッグには、指定されたラベルを持つ少なくとも1つのインスタンスが含まれているという仮定が無効である場合、どのようにメソッドを適用するかを示す。
論文 参考訳(メタデータ) (2020-07-21T10:45:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。