論文の概要: Learning and Verification of Task Structure in Instructional Videos

• arxiv url: http://arxiv.org/abs/2303.13519v1
• Date: Thu, 23 Mar 2023 17:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 12:47:05.588779
• Title: Learning and Verification of Task Structure in Instructional Videos
• Title（参考訳）: 授業ビデオにおけるタスク構造の学習と検証
• Authors: Medhini Narasimhan, Licheng Yu, Sean Bell, Ning Zhang, Trevor Darrell
• Abstract要約: 本稿では,教師ビデオのセマンティクスと構造を表現することに焦点を当てた,事前学習型ビデオモデルVideoTaskformerを紹介する。 ステップ表現をローカルに学習する以前の作業と比較して,私たちのアプローチは,それらをグローバルに学習するものです。 命令ビデオにおける誤り検出のための2つの新しいベンチマークを導入し,異常なステップが存在するか,ステップが正しい順序で実行されるかを確認する。
• 参考スコア（独自算出の注目度）: 85.511888642497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the enormous number of instructional videos available online, learning a diverse array of multi-step task models from videos is an appealing goal. We introduce a new pre-trained video model, VideoTaskformer, focused on representing the semantics and structure of instructional videos. We pre-train VideoTaskformer using a simple and effective objective: predicting weakly supervised textual labels for steps that are randomly masked out from an instructional video (masked step modeling). Compared to prior work which learns step representations locally, our approach involves learning them globally, leveraging video of the entire surrounding task as context. From these learned representations, we can verify if an unseen video correctly executes a given task, as well as forecast which steps are likely to be taken after a given step. We introduce two new benchmarks for detecting mistakes in instructional videos, to verify if there is an anomalous step and if steps are executed in the right order. We also introduce a long-term forecasting benchmark, where the goal is to predict long-range future steps from a given step. Our method outperforms previous baselines on these tasks, and we believe the tasks will be a valuable way for the community to measure the quality of step representations. Additionally, we evaluate VideoTaskformer on 3 existing benchmarks -- procedural activity recognition, step classification, and step forecasting -- and demonstrate on each that our method outperforms existing baselines and achieves new state-of-the-art performance.
• Abstract（参考訳）: オンラインで利用できる膨大な数の指導ビデオを考えると、ビデオから多段階のタスクモデルを学ぶことは魅力的な目標だ。 本稿では,教師ビデオのセマンティクスと構造を表現することに焦点を当てた,事前学習型ビデオモデルVideoTaskformerを紹介する。 我々は,教師付きビデオからランダムにマスキングされたステップに対して,弱教師付きテキストラベルを予測するという,シンプルで効果的な目的の VideoTaskformer を事前訓練する。 ステップ表現をローカルに学習する以前の作業と比較して、我々のアプローチは、周囲のタスク全体をコンテキストとして利用して、それらをグローバルに学習する。 これらの学習した表現から、未確認の動画が所定のタスクを正しく実行するかどうかを検証し、また、所定のステップの後にどのステップを取るかを予測することができる。 命令ビデオにおける誤り検出のための2つの新しいベンチマークを導入し,異常なステップが存在するか,ステップが正しい順序で実行されるかを確認する。 また、長期予測ベンチマークを導入し、所定のステップから長期的な将来のステップを予測することを目標としている。 提案手法は,これらのタスクに対する以前のベースラインよりも優れており,これらのタスクは,ステップ表現の質を測定する上で,コミュニティにとって貴重な手段になるだろうと考えている。 さらに,既存の3つのベンチマーク -- 手続きアクティビティ認識,ステップ分類,ステップ予測 -- でvideotaskformerを評価し,提案手法が既存のベースラインを上回っており,新たな最先端性能を実現していることを示す。

関連論文リスト

• Video-Mined Task Graphs for Keystep Recognition in Instructional Videos [71.16703750980143]
  手続き的活動理解には、より広いタスクの観点から人間の行動を知覚する必要がある。 本稿では,ハウツービデオからタスクグラフを自動的に発見して,人々がキーステップを実行する傾向を確率論的に表現することを提案する。 より信頼性の高いゼロショットキーステップのローカライゼーションとビデオ表現学習の改善。
  論文  参考訳（メタデータ） (2023-07-17T18:19:36Z)
• Learning to Ground Instructional Articles in Videos through Narrations [50.3463147014498]
  ナレーションされたハウツービデオにおける手続き的活動の段階をローカライズするためのアプローチを提案する。 本稿では,教科記事を含む言語知識ベース(wikiHow)からステップ記述を抽出する。 本モデルは,3つのモダリティをマッチングすることにより,プロシージャ記事のステップをハウツービデオに時間的に基礎付けることを学習する。
  論文  参考訳（メタデータ） (2023-06-06T15:45:53Z)
• Non-Sequential Graph Script Induction via Multimedia Grounding [129.83134296316493]
  我々は、学習タスクのための明示的なグラフスクリプトを生成することと、部分的なステップシーケンスが与えられた将来のステップを予測することの両方が可能なスクリプト知識モデルを訓練する。 人間による評価では、我々のモデルはWikiHowの線形ベースラインを48.76%上回り、シーケンシャルなステップ関係と非シーケンシャルなステップ関係を捉えた。
  論文  参考訳（メタデータ） (2023-05-27T18:13:17Z)
• StepFormer: Self-supervised Step Discovery and Localization in Instructional Videos [47.03252542488226]
  本稿では、ビデオ中の命令ステップを検出し、ローカライズする自己教師型モデルであるStepFormerを紹介する。 我々は、自動生成した字幕を唯一の監督源として、大規模な指導ビデオのデータセットで学習する。 本モデルでは,従来の教師なしおよび弱教師付きアプローチにおいて,ステップ検出とローカライゼーションにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-04-26T03:37:28Z)
• Procedure-Aware Pretraining for Instructional Video Understanding [58.214549181779006]
  手続き理解の鍵となる課題は、未ラベルのビデオから手続き的知識を抽出できることである。 私たちの主な洞察は、命令ビデオが同じまたは異なるタスクのインスタンス間で繰り返されるステップのシーケンスを描いていることです。 このグラフを使用して擬似ラベルを生成し、よりアクセスしやすい形式で手続き的知識を符号化するビデオ表現を訓練することができる。
  論文  参考訳（メタデータ） (2023-03-31T17:41:31Z)
• Learning Procedure-aware Video Representation from Instructional Videos and Their Narrations [22.723309913388196]
  我々は,Web指導ビデオの大規模データセットとナレーションに基づいて,アクションステップと時間順序の両方を符号化した映像表現を学習する。 本手法は,各ステップ概念を符号化するビデオ表現と,ステップオーダにおける時間的依存と大きな個人変動の両方をキャプチャする深層確率モデルとを併用して学習する。
  論文  参考訳（メタデータ） (2023-03-31T07:02:26Z)
• Learning To Recognize Procedural Activities with Distant Supervision [96.58436002052466]
  最大数分間の長いビデオから、きめ細かな多段階のアクティビティを分類する問題を考察する。 提案手法は,ビデオから自動書き起こされた音声の雑音に合う言語モデルを用いて,知識ベースで記述をステップする。
  論文  参考訳（メタデータ） (2022-01-26T15:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。