論文の概要: What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning

• arxiv url: http://arxiv.org/abs/2503.21055v1
• Date: Thu, 27 Mar 2025 00:03:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:52:52.629452
• Title: What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
• Title（参考訳）: 何を変えたのか、何が変わったのか? プロシージャ対応ビデオ表現学習のための状態変化対策
• Authors: Chi-Hsi Kung, Frangil Ramirez, Juhyung Ha, Yi-Ting Chen, David Crandall, Yi-Hsuan Tsai,
• Abstract要約: 状態変化記述を取り入れたプロシージャ対応ビデオ表現学習について検討する。 我々は、仮説化された失敗の結果をシミュレートする状態変化反事実を生成する。 本研究は,提案した状態変化記述の有効性と,その有効性を実証するものである。
• 参考スコア（独自算出の注目度）: 22.00652926645987
• License:
• Abstract: Understanding a procedural activity requires modeling both how action steps transform the scene, and how evolving scene transformations can influence the sequence of action steps, even those that are accidental or erroneous. Existing work has studied procedure-aware video representations by proposing novel approaches such as modeling the temporal order of actions and has not explicitly learned the state changes (scene transformations). In this work, we study procedure-aware video representation learning by incorporating state-change descriptions generated by Large Language Models (LLMs) as supervision signals for video encoders. Moreover, we generate state-change counterfactuals that simulate hypothesized failure outcomes, allowing models to learn by imagining the unseen ``What if'' scenarios. This counterfactual reasoning facilitates the model's ability to understand the cause and effect of each step in an activity. To verify the procedure awareness of our model, we conduct extensive experiments on procedure-aware tasks, including temporal action segmentation and error detection. Our results demonstrate the effectiveness of the proposed state-change descriptions and their counterfactuals and achieve significant improvements on multiple tasks. We will make our source code and data publicly available soon.
• Abstract（参考訳）: 手続き的活動を理解するには、アクションステップがシーンをどのように変換するか、シーン変換の進化がアクションステップのシーケンスにどのように影響するか、あるいは偶発的あるいは誤ったものであってもモデル化する必要がある。 既存の研究は、動作の時間順をモデル化するといった新しいアプローチを提案してプロシージャ対応のビデオ表現を研究しており、状態変化(シーン変換)を明示的に学ばない。 本研究では,Large Language Models (LLM) が生成する状態変化記述をビデオエンコーダの監視信号として組み込むことにより,プロシージャ対応のビデオ表現学習について検討する。 さらに、我々は、仮説化された失敗の結果をシミュレートする状態変化反事実を生成し、未知の ‘What if' シナリオを想像することでモデルを学習できるようにする。 この反現実的推論は、モデルが活動における各ステップの原因と効果を理解する能力を促進する。 提案モデルの手順認識を検証するため,時間的動作セグメント化やエラー検出など,プロシージャ対応タスクについて広範な実験を行った。 提案した状態変化記述とその対策の有効性を実証し,複数のタスクにおいて大幅な改善を実現した。 近いうちに、ソースコードとデータを公開します。

関連論文リスト

• ActionDiffusion: An Action-aware Diffusion Model for Procedure Planning in Instructional Videos [10.180115984765582]
  ActionDiffusionは、講義ビデオにおけるプロシージャ計画のための新しい拡散モデルである。 本手法は,行動間の時間的依存関係の学習と拡散過程における行動計画の認知を統一する。
  論文  参考訳（メタデータ） (2024-03-13T14:54:04Z)
• SCHEMA: State CHangEs MAtter for Procedure Planning in Instructional Videos [54.01116513202433]
  本研究では,視覚状態の部分的な観察を目標とする行動手順を目標とする指導ビデオにおけるプロシージャ計画の課題について検討する。 最近の研究は、訓練中にアクセス可能なシーケンスレベルのアノテーションのみを持つステップのシーケンスモデリングに成功し、手順における状態の役割を見落としている。 我々は,手順におけるステップと状態の因果関係を調べることによって,より構造化された状態空間を確立することを目指している。
  論文  参考訳（メタデータ） (2024-03-03T19:53:06Z)
• Masked Diffusion with Task-awareness for Procedure Planning in Instructional Videos [16.93979476655776]
  指導ビデオにおけるプロシージャ計画における重要な課題は、さまざまなアクションタイプからなる大きな決定空間をどのように扱うかである。 マスク付き拡散モデルとして,シンプルで効果的な拡張法を提案する。 我々は,事前学習された視覚言語モデルに人間の行動に焦点を当てるよう促すことで,テキストの埋め込みを生成する共同視覚テキスト埋め込みを学習する。
  論文  参考訳（メタデータ） (2023-09-14T03:25:37Z)
• Learning Procedure-aware Video Representation from Instructional Videos and Their Narrations [22.723309913388196]
  我々は,Web指導ビデオの大規模データセットとナレーションに基づいて,アクションステップと時間順序の両方を符号化した映像表現を学習する。 本手法は,各ステップ概念を符号化するビデオ表現と,ステップオーダにおける時間的依存と大きな個人変動の両方をキャプチャする深層確率モデルとを併用して学習する。
  論文  参考訳（メタデータ） (2023-03-31T07:02:26Z)
• Multi-Task Learning of Object State Changes from Uncurated Videos [55.60442251060871]
  我々は、長い未処理のウェブビデオにおいて、オブジェクトと対話する人々を観察することで、オブジェクトの状態変化を時間的にローカライズすることを学ぶ。 マルチタスクモデルでは,従来のシングルタスク手法に比べて40%の相対的な改善が達成されている。 また,EPIC-KITCHENSとEgo4Dデータセットを0ショット設定で長時間遠心分離したビデオでテストした。
  論文  参考訳（メタデータ） (2022-11-24T09:42:46Z)
• Chain of Thought Imitation with Procedure Cloning [129.62135987416164]
  本稿では,一連の専門家計算を模倣するために,教師付きシーケンス予測を適用したプロシージャクローニングを提案する。 本研究では、専門家の行動の中間計算を模倣することで、プロシージャのクローン化により、未知の環境構成に顕著な一般化を示すポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-22T13:14:09Z)
• P3IV: Probabilistic Procedure Planning from Instructional Videos with Weak Supervision [31.73732506824829]
  授業ビデオにおけるプロシージャプランニングの問題について検討する。 ここでは、エージェントは、与えられたスタートから望ましいゴール状態へ環境を変換できる、もっともらしい一連のアクションを生成しなければならない。 自然言語の指示から学習することで,弱い教師付きアプローチを提案する。
  論文  参考訳（メタデータ） (2022-05-04T19:37:32Z)
• Learning To Recognize Procedural Activities with Distant Supervision [96.58436002052466]
  最大数分間の長いビデオから、きめ細かな多段階のアクティビティを分類する問題を考察する。 提案手法は,ビデオから自動書き起こされた音声の雑音に合う言語モデルを用いて,知識ベースで記述をステップする。
  論文  参考訳（メタデータ） (2022-01-26T15:06:28Z)
• Procedure Planning in Instructional Videosvia Contextual Modeling and Model-based Policy Learning [114.1830997893756]
  本研究は,実生活ビデオにおける目標指向アクションを計画するモデルを学習することに焦点を当てる。 本研究では,ベイズ推論とモデルに基づく模倣学習を通して,人間の行動のモデル化を行う新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-05T01:06:53Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。