論文の概要: Unsupervised Task Graph Generation from Instructional Video Transcripts

• arxiv url: http://arxiv.org/abs/2302.09173v2
• Date: Tue, 2 May 2023 19:46:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 17:54:37.030863
• Title: Unsupervised Task Graph Generation from Instructional Video Transcripts
• Title（参考訳）: インストラクショナルビデオ記録からの教師なしタスクグラフ生成
• Authors: Lajanugen Logeswaran, Sungryull Sohn, Yunseok Jang, Moontae Lee, Honglak Lee
• Abstract要約: 本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。 目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。 本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
• 参考スコア（独自算出の注目度）: 53.54435048879365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work explores the problem of generating task graphs of real-world activities. Different from prior formulations, we consider a setting where text transcripts of instructional videos performing a real-world activity (e.g., making coffee) are provided and the goal is to identify the key steps relevant to the task as well as the dependency relationship between these key steps. We propose a novel task graph generation approach that combines the reasoning capabilities of instruction-tuned language models along with clustering and ranking components to generate accurate task graphs in a completely unsupervised manner. We show that the proposed approach generates more accurate task graphs compared to a supervised learning approach on tasks from the ProceL and CrossTask datasets.
• Abstract（参考訳）: 本研究は,実世界の活動のタスクグラフ生成の問題を考察する。 従来の定式化とは違って,実世界の活動を行うインストラクショナルビデオ(例えばコーヒーを作る)のテキスト書き起こしが提供され,タスクに関連する重要なステップと,これらの重要なステップ間の依存関係関係を識別することが目的である。 本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。 提案手法は,ProceLおよびCrossTaskデータセットのタスクに対する教師付き学習手法と比較して,より正確なタスクグラフを生成する。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Replay-and-Forget-Free Graph Class-Incremental Learning: A Task Profiling and Prompting Approach [28.194940062243003]
  クラス増分学習(Class-incremental Learning, CIL)は、一連のタスクを連続的に学習することを目的としており、各タスクは固有のクラスで構成されている。 CILの主な特徴は、推論中にタスク識別子(ID)が存在しないことである。 グラフデータに対する正確なタスクID予測はラプラシアスムースティングに基づくグラフタスクプロファイリング手法により実現できることを示す。
  論文  参考訳（メタデータ） (2024-10-14T09:54:20Z)
• Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos [13.99137623722021]
  手続き的活動は、特定の目標を達成するための重要なステップのシーケンスである。 タスクグラフは、手続き的活動の人間的に理解可能な表現として現れてきた。
  論文  参考訳（メタデータ） (2024-06-03T16:11:39Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Exploring Correlations of Self-Supervised Tasks for Graphs [6.977921096191354]
  本稿では,タスク相関に基づくグラフ自己教師型学習を新たに理解することを目的とする。 我々は,ある特定のタスクによって訓練された他のタスクにおける表現の性能を評価し,タスク相関を定量化するための相関値を定義した。 本稿では,タスク相関を説明するグラフタスク相関モデリング(GraphTCM)を提案する。
  論文  参考訳（メタデータ） (2024-05-07T12:02:23Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Sequential Manipulation Planning on Scene Graph [90.28117916077073]
  我々は,効率的な逐次タスク計画のための3次元シーングラフ表現であるコンタクトグラフ+(cg+)を考案する。 ゴール設定は、自然にコンタクトグラフに指定され、最適化法を用いて遺伝的アルゴリズムによって作成することができる。 次に、初期接触グラフと目標設定との間のグラフ編集距離(GED)を計算してタスクプランを簡潔化し、ロボット動作に対応するグラフ編集操作を生成する。
  論文  参考訳（メタデータ） (2022-07-10T02:01:33Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• FAITH: Few-Shot Graph Classification with Hierarchical Task Graphs [39.576675425158754]
  少数ショットグラフ分類はグラフのクラスを予測することを目的としており、各クラスに限定されたラベル付きグラフが与えられる。 本稿では,階層的なタスクグラフを構築することにより,タスク相関をキャプチャする新しい数ショット学習フレームワークFAITHを提案する。 4つの一般的な数ショットグラフ分類データセットの実験は、他の最先端のベースラインよりもFAITHの方が優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-05T04:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。