論文の概要: Unsupervised Task Graph Generation from Instructional Video Transcripts
- arxiv url: http://arxiv.org/abs/2302.09173v1
- Date: Fri, 17 Feb 2023 22:50:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 20:08:41.576507
- Title: Unsupervised Task Graph Generation from Instructional Video Transcripts
- Title(参考訳): インストラクショナルビデオ記録からの教師なしタスクグラフ生成
- Authors: Lajanugen Logeswaran, Sungryull Sohn, Yunseok Jang, Moontae Lee,
Honglak Lee
- Abstract要約: 本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。
目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。
本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
- 参考スコア(独自算出の注目度): 53.54435048879365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work explores the problem of generating task graphs of real-world
activities. Different from prior formulations, we consider a setting where text
transcripts of instructional videos performing a real-world activity (e.g.,
making coffee) are provided and the goal is to identify the key steps relevant
to the task as well as the dependency relationship between these key steps. We
propose a novel task graph generation approach that combines the reasoning
capabilities of instruction-tuned language models along with clustering and
ranking components to generate accurate task graphs in a completely
unsupervised manner. We show that the proposed approach generates more accurate
task graphs compared to a supervised learning approach on tasks from the ProceL
and CrossTask datasets.
- Abstract(参考訳): 本研究は,実世界の活動のタスクグラフ生成の問題を考察する。
従来の定式化とは違って,実世界の活動を行うインストラクショナルビデオ(例えばコーヒーを作る)のテキスト書き起こしが提供され,タスクに関連する重要なステップと,これらの重要なステップ間の依存関係関係を識別することが目的である。
本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
提案手法は,ProceLおよびCrossTaskデータセットのタスクに対する教師付き学習手法と比較して,より正確なタスクグラフを生成する。
関連論文リスト
- All in One: Multi-Task Prompting for Graph Neural Networks (Extended
Abstract) [30.457491401821652]
本論文は,KDD23で発表された論文の要約であり,研究論文賞を受賞した。
これは、事前訓練されたグラフモデルと適用されるさまざまなタスクの間のギャップを埋める新しいアプローチを導入します。
論文 参考訳(メタデータ) (2024-03-11T16:04:58Z) - InstructCV: Instruction-Tuned Text-to-Image Diffusion Models as Vision Generalists [66.85125112199898]
我々は,タスク固有の設計選択を抽象化する,コンピュータビジョンタスクのための統一言語インタフェースを開発する。
InstructCVと呼ばれる我々のモデルは、他のジェネラリストやタスク固有の視覚モデルと比較して競合的に機能する。
論文 参考訳(メタデータ) (2023-09-30T14:26:43Z) - GIMLET: A Unified Graph-Text Model for Instruction-Based Molecule
Zero-Shot Learning [71.89623260998934]
本研究は,ゼロショット環境下での分子関連タスクの実現に自然言語命令を用いることの実現可能性について検討する。
既存の分子テキストモデルは、命令の不十分な処理とグラフの限られた容量のために、この設定では性能が良くない。
グラフデータとテキストデータの両方の言語モデルを統合するGIMLETを提案する。
論文 参考訳(メタデータ) (2023-05-28T18:27:59Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳(メタデータ) (2022-10-12T15:02:04Z) - Sequential Manipulation Planning on Scene Graph [90.28117916077073]
我々は,効率的な逐次タスク計画のための3次元シーングラフ表現であるコンタクトグラフ+(cg+)を考案する。
ゴール設定は、自然にコンタクトグラフに指定され、最適化法を用いて遺伝的アルゴリズムによって作成することができる。
次に、初期接触グラフと目標設定との間のグラフ編集距離(GED)を計算してタスクプランを簡潔化し、ロボット動作に対応するグラフ編集操作を生成する。
論文 参考訳(メタデータ) (2022-07-10T02:01:33Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳(メタデータ) (2022-05-25T10:44:25Z) - FAITH: Few-Shot Graph Classification with Hierarchical Task Graphs [39.576675425158754]
少数ショットグラフ分類はグラフのクラスを予測することを目的としており、各クラスに限定されたラベル付きグラフが与えられる。
本稿では,階層的なタスクグラフを構築することにより,タスク相関をキャプチャする新しい数ショット学習フレームワークFAITHを提案する。
4つの一般的な数ショットグラフ分類データセットの実験は、他の最先端のベースラインよりもFAITHの方が優れていることを示した。
論文 参考訳(メタデータ) (2022-05-05T04:28:32Z) - Automated Self-Supervised Learning for Graphs [37.14382990139527]
本研究の目的は、複数のプリテキストタスクを効果的に活用する方法を検討することである。
我々は、多くの実世界のグラフ、すなわちホモフィリーの鍵となる原理を、様々な自己教師付きプレテキストタスクを効果的に探索するためのガイダンスとして利用している。
本稿では,自己教師型タスクの組み合わせを自動的に検索するAutoSSLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-10T03:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。