論文の概要: Post-Training VLMs for Video Mistake Detection

• arxiv url: http://arxiv.org/abs/2608.28406v1
• Date: Fri, 28 Aug 2026 14:56:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.37342
• Title: Post-Training VLMs for Video Mistake Detection
• Title（参考訳）: ビデオミス検出のための後トレーニング用VLM
• Abstract要約: 我々は、ステップ固有の詳細に過度に適合するのではなく、誤り検出手法が誤りの一般的な概念を学ぶべきだと主張している。 MD-VQA(Mistake Detection Video Question Answering)プロトコルとそれに伴うベンチマークを紹介する。 提案手法では, モデルに対して, 命令と対応するビデオとの相違点を識別するよう促すために, 調整された報酬関数を用いる。
• 参考スコア（独自算出の注目度）: 30.215996979058236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human mistakes are inevitable when following instructions, yet they can lead to severe consequences. As such, there has been an increased interest in developing methods for detecting mistakes in videos, with current methods mostly focusing on closed-set protocols. While successful in controlled settings, the closed-set assumption limits their wider applicability, as any changes to the task require collecting new data and re-training models. Instead, we argue that mistake detection methods should learn the general concept of a mistake, rather than overfitting to step-specific details. To reflect this, we introduce the Mistake Detection Video Question Answering (MD-VQA) protocol and accompanying benchmark. MD-VQA tests whether methods can discern if a step was executed correctly with respect to its description, for both seen and unseen actions. To address this important challenge, we propose the first video-language-model post-training technique for mistake detection. Our method uses a tailored reward function to encourage the model to identify discrepancies between an instruction and the corresponding video. Extensive evaluations demonstrate that this approach outperforms zero-shot, supervised fine-tuning, and post-training baselines. Notably, our method generalizes especially well to unseen procedures, for instance, with an improvement of up to 11.6% over the best-performing baseline on EP-VQA, paving the way toward general mistake detection. We release our code and benchmark at https://github.com/FedeSpu/mstk.
• Abstract（参考訳）: 指示に従うと人間の間違いは避けられないが、深刻な結果をもたらす可能性がある。 そのため、ビデオの誤りを検出する手法の開発への関心が高まっており、現在の手法は主にクローズドセットプロトコルに焦点を当てている。 制御された設定で成功したが、クローズドセットの前提は、タスクの変更が新しいデータを収集し、モデルを再トレーニングする必要があるため、適用範囲を制限している。 その代わり、ステップ固有の詳細に過度に適合するのではなく、誤り検出手法は誤りの一般的な概念を学ぶべきだと論じる。 そこで本研究では,MD-VQA(Mistake Detection Video Question Answering)プロトコルとそれに伴うベンチマークを紹介する。 MD-VQAは、ステップが正しく実行されたかどうかを、見知らぬアクションと見えないアクションの両方で判別できるかどうかをテストする。 本稿では,この課題に対処するため,誤り検出のためのビデオ言語モデルポストトレーニング手法を提案する。 提案手法では, モデルに対して, 命令と対応するビデオとの相違点を識別するよう促すために, 調整された報酬関数を用いる。 大規模な評価は、このアプローチがゼロショット、教師付き微調整、トレーニング後のベースラインよりも優れていることを示している。 特に, EP-VQAにおける最良性能ベースラインよりも最大11.6%向上し, 一般的な誤り検出への道を開いた。 コードとベンチマークはhttps://github.com/FedeSpu/mstk.comで公開しています。

関連論文リスト

• The Unreasonable Effectiveness of VLMs for Zero-shot Procedural Mistake Detection [27.97762014835384]
  手続き的誤り検出は多くの分野にわたる品質管理とユーザ支援において重要である。 この分野での最近の研究は、VLM(Video-Language Models)の推論機能をマルチステージパイプライン内のコンポーネントとして活用することで、大きな成果を上げている。 本稿では,1つの事前訓練されたVLMを用いて,手続き的誤り検出と時間的動作分割を共同で解決するZero-shot Procedural Mistake検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-19T16:31:44Z)
• MistExit: Learning to Exit for Early Mistake Detection in Procedural Videos [53.5354731425141]
  ビデオにおける早期誤り検出の課題について紹介する。 本研究の目的は,プロシージャ活動におけるキーステップが,ストリーミング映像を可能な限り少なく観察しながら正しく実行されるかどうかを判断することである。 本稿では,誤り検出と強化学習ポリシを組み合わせた手法を提案する。
  論文  参考訳（メタデータ） (2026-03-15T07:14:49Z)
• Project Aletheia: Verifier-Guided Distillation of Backtracking for Small Language Models [0.0]
  小言語モデル(SLM、Small Language Models)は、プライベートなデバイス上でのデプロイメントには魅力的である。 本稿では,エラー修復の過程を伝達するトレーニングプロトコルであるVerifier-Guided Distillationを紹介する。 潜在検証動作が小さなモデルに現れる可能性を示し、時折停止し、矛盾を検知し、以前の仮定を修正できるようにします。
  論文  参考訳（メタデータ） (2026-01-14T14:39:08Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• Technical Report for Egocentric Mistake Detection for the HoloAssist Challenge [5.257305312436567]
  手続き的エラーと実行的エラーの両方を処理するオンライン誤り検出フレームワークを導入する。 誤りを検知すると、説明的フィードバックを生成するために大きな言語モデル(LLM)を使用する。 HoloAssistベンチマークの実験により,本手法の有効性が確認された。
  論文  参考訳（メタデータ） (2025-06-06T15:39:09Z)
• Rethinking Metrics and Benchmarks of Video Anomaly Detection [58.37571339811799]
  ビデオ異常検出(VAD)は、期待から外れた異常を検出することを目的としている。 既存のVADメトリクスは、単一のアノテーションバイアスの影響を受けます。 既存のベンチマークには、完全に/弱い教師付きアルゴリズムのシーンオーバーフィットを評価する能力がない。
  論文  参考訳（メタデータ） (2025-05-25T08:09:42Z)
• PREGO: online mistake detection in PRocedural EGOcentric videos [49.72812518471056]
  自己中心型ビデオにおける誤り検出のための,最初のオンライン一級分類モデルであるPregoを提案する。 PreGOは、現在のアクションをモデル化するオンラインアクション認識コンポーネントと、次のアクションを予測するシンボリック推論モジュールに基づいている。 手続き的誤り検出のオンラインベンチマークに適応する2つの手続き的自己中心型ビデオデータセットであるAmbly101とEpic-tentについてPreGOを評価した。
  論文  参考訳（メタデータ） (2024-04-02T13:27:28Z)
• Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
  希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。 このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
  論文  参考訳（メタデータ） (2020-03-16T00:29:14Z)
• Self-trained Deep Ordinal Regression for End-to-End Video Anomaly Detection [114.9714355807607]
  ビデオ異常検出に自己学習深層順序回帰を適用することで,既存の手法の2つの重要な限界を克服できることを示す。 我々は,手動で正規/異常データをラベル付けすることなく,共同表現学習と異常スコアリングを可能にする,エンドツーエンドのトレーニング可能なビデオ異常検出手法を考案した。
  論文  参考訳（メタデータ） (2020-03-15T08:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。