論文の概要: Open-Event Procedure Planning in Instructional Videos

• arxiv url: http://arxiv.org/abs/2407.05119v1
• Date: Sat, 6 Jul 2024 16:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:58:28.727772
• Title: Open-Event Procedure Planning in Instructional Videos
• Title（参考訳）: インストラクショナルビデオにおけるオープンイベントプロシージャ計画
• Authors: Yilu Wu, Hanlin Wang, Jing Wang, Limin Wang,
• Abstract要約: 我々は,オープンイベント・プロシージャ・プランニング(OEPP)と呼ばれる新しいタスクを導入し,従来のプロシージャ・プランニングをオープンイベント・セッティングに拡張する。 OEPPは、プランナーが学習した知識をトレーニング中に見たことのない同様のイベントに転送できるかどうかを検証することを目的としている。
• 参考スコア（独自算出の注目度）: 18.67781706733587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the current visual observations, the traditional procedure planning task in instructional videos requires a model to generate goal-directed plans within a given action space. All previous methods for this task conduct training and inference under the same action space, and they can only plan for pre-defined events in the training set. We argue this setting is not applicable for human assistance in real lives and aim to propose a more general and practical planning paradigm. Specifically, in this paper, we introduce a new task named Open-event Procedure Planning (OEPP), which extends the traditional procedure planning to the open-event setting. OEPP aims to verify whether a planner can transfer the learned knowledge to similar events that have not been seen during training. We rebuild a new benchmark of OpenEvent for this task based on existing datasets and divide the events involved into base and novel parts. During the data collection process, we carefully ensure the transfer ability of procedural knowledge for base and novel events by evaluating the similarity between the descriptions of different event steps with multiple stages. Based on the collected data, we further propose a simple and general framework specifically designed for OEPP, and conduct extensive study with various baseline methods, providing a detailed and insightful analysis on the results for this task.
• Abstract（参考訳）: 現在の視覚的観察から、指導ビデオにおける伝統的な手順計画タスクは、与えられたアクション空間内でゴール指向の計画を生成するモデルを必要とする。 このタスクの以前のメソッドはすべて、同じアクション空間の下でトレーニングと推論を行い、トレーニングセットで事前に定義されたイベントを計画するしかありません。 この設定は実生活における人間の援助には当てはまらないものであり、より汎用的で実践的な計画パラダイムを提案することを目的としている。 具体的には,オープン・イベント・プロシージャ・プランニング(OEPP)と呼ばれる新しいタスクを導入し,従来のプロシージャ・プランニングをオープン・イベント・セッティングに拡張する。 OEPPは、プランナーが学習した知識をトレーニング中に見たことのない同様のイベントに転送できるかどうかを検証することを目的としている。 私たちは、既存のデータセットに基づいて、このタスクのためにOpenEventの新しいベンチマークを再構築し、関連するイベントをベースと新しい部分に分割します。 データ収集の過程では、複数の段階の異なるイベントステップの記述の類似性を評価することにより、ベースイベントと新規イベントの手続き的知識の伝達能力を慎重に確保する。 収集したデータに基づいて,OEPPに特化して設計されたシンプルで汎用的なフレームワークを提案し,様々なベースライン手法を用いて広範囲にわたる研究を行い,その課題の成果を詳細に,洞察に富んだ分析を行う。

関連論文リスト

• Socratic Planner: Inquiry-Based Zero-Shot Planning for Embodied Instruction Following [17.608330952846075]
  EIF(Embodied Instruction following)は、3D環境のオブジェクトをナビゲートして操作することで自然言語命令を実行するタスクである。 EIFの主な課題の1つは構成的タスク計画であり、しばしばラベル付きデータによる教師付きまたはコンテキスト内学習で対処される。 トレーニングデータを必要とせずに推測できる最初のゼロショットプランニング手法であるソクラティックプランナーを紹介する。
  論文  参考訳（メタデータ） (2024-04-21T08:10:20Z)
• RAP: Retrieval-Augmented Planner for Adaptive Procedure Planning in Instructional Videos [46.26690150997731]
  本稿では,教育ビデオにおける適応的プロシージャ計画(Adaptive procedure planning)と呼ばれる,新しい実践的な設定を提案する。 RAPは自動回帰モデルアーキテクチャを用いて行動の結論を適応的に決定する。
  論文  参考訳（メタデータ） (2024-03-27T14:22:40Z)
• Why Not Use Your Textbook? Knowledge-Enhanced Procedure Planning of Instructional Videos [16.333295670635557]
  本稿では,エージェントが行動手順を論理的に構築し,戦略的手続き計画を構築する能力について考察する。 この計画は、実生活の指導ビデオに示されているように、初期視覚観察から対象視結果へのナビゲートに不可欠である。 我々は,学習データから抽出した確率論的手続き的知識グラフを利用する,知識向上型プロジェクションプランニングシステムKEPPを提案する。
  論文  参考訳（メタデータ） (2024-03-05T08:55:51Z)
• Pretext Training Algorithms for Event Sequence Data [29.70078362944441]
  本稿では,イベントシーケンスデータに適した自己教師付き事前テキスト学習フレームワークを提案する。 私たちのプレテキストタスクは、さまざまなダウンストリームタスクで一般化可能な基礎表現をアンロックします。
  論文  参考訳（メタデータ） (2024-02-16T01:25:21Z)
• Planning as In-Painting: A Diffusion-Based Embodied Task Planning Framework for Environments under Uncertainty [56.30846158280031]
  具体的AIのためのタスクプランニングは、最も難しい問題の1つだ。 In-paintingとしての計画」というタスク非依存の手法を提案する。 提案するフレームワークは,様々な具体的AIタスクにおいて,有望なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-02T10:07:17Z)
• Event-Guided Procedure Planning from Instructional Videos with Text Supervision [31.82121743586165]
  本研究は,テキスト管理による指導ビデオからの手順計画の課題に焦点をあてる。 この課題の重要な課題は、観察された視覚状態と観測されていない中間動作の間の大きな意味的ギャップである。 本稿では,まず観測された状態から事象を推定し,その状態と予測された事象の両方に基づいて行動計画を行う,新しいイベント誘導パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-08-17T09:43:28Z)
• Zero-Shot On-the-Fly Event Schema Induction [61.91468909200566]
  本稿では,大規模な言語モデルを用いて,高レベルなイベント定義,特定のイベント,引数,それらの関係を予測・付与するソースドキュメントを生成する手法を提案する。 我々のモデルを用いて、任意のトピックに関する完全なスキーマを、手動のデータ収集、すなわちゼロショットの方法で、オンザフライで生成することができる。
  論文  参考訳（メタデータ） (2022-10-12T14:37:00Z)
• Process-BERT: A Framework for Representation Learning on Educational Process Data [68.8204255655161]
  本稿では,教育プロセスデータの表現を学習するためのフレームワークを提案する。 我々のフレームワークは、BERT型の目的を用いて、シーケンシャルなプロセスデータから表現を学習する事前学習ステップで構成されています。 当社のフレームワークは,2019年国のレポートカードデータマイニングコンペティションデータセットに適用しています。
  論文  参考訳（メタデータ） (2022-04-28T16:07:28Z)
• Procedure Planning in Instructional Videosvia Contextual Modeling and Model-based Policy Learning [114.1830997893756]
  本研究は,実生活ビデオにおける目標指向アクションを計画するモデルを学習することに焦点を当てる。 本研究では,ベイズ推論とモデルに基づく模倣学習を通して,人間の行動のモデル化を行う新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-05T01:06:53Z)
• PEARL: Parallelized Expert-Assisted Reinforcement Learning for Scene Rearrangement Planning [28.9887381071402]
  SRP(Scene Rearrangement Planning)のための細かいアクション定義を提案し、大規模なシーン再配置データセットを導入する。 また,事前知識を必要とせず,自己演奏を通してエージェントを効果的に訓練するための新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T03:27:16Z)
• Exploiting the Matching Information in the Support Set for Few Shot Event Classification [66.31312496170139]
  数ショットの学習セットに基づくイベント分類について検討する。 本稿では,学習過程におけるサポートセットを効果的に活用する新たなトレーニング手法を提案する。 2つのベンチマークECデータセットを用いた実験の結果,提案手法は,イベント分類の精度を最大10%向上できることがわかった。
  論文  参考訳（メタデータ） (2020-02-13T00:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。