論文の概要: Demo2Tutorial: From Human Experience to Multimodal Software Tutorials

• arxiv url: http://arxiv.org/abs/2606.03951v1
• Date: Tue, 02 Jun 2026 17:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.22568
• Title: Demo2Tutorial: From Human Experience to Multimodal Software Tutorials
• Title（参考訳）: Demo2Tutorial: ヒューマンエクスペリエンスからマルチモーダルなソフトウェアチュートリアルへ
• Authors: Zechen Bai, Zhiheng Chen, Yiqi Lin, Kevin Qinghong Lin, Difei Gao, Xiangwu Guo, Xin Wang, Mike Zheng Shou,
• Abstract要約: Demo2Tutorialは、スクリーン記録とインタラクションログを通じてキャプチャされたエクスペリエンスを構造化されたマルチモーダルソフトウェアチュートリアルに変換するフレームワークである。 ステッププランナーはこれらのステップを、目標とステップを表す階層的なタスクグラフに抽象化します。 Composerは解析されたエクスペリエンスを構造化された再利用可能なイメージテキスト命令に変換する。
• 参考スコア（独自算出の注目度）: 63.678709079907684
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human experience in digital environments offers a vast, underexplored resource of authentic, untrimmed interactions that contain rich procedural knowledge. We introduce Demo2Tutorial, a framework that transforms this experience captured via screen recordings and interaction logs into structured, multimodal software tutorials for teaching both humans and agents. Demo2Tutorial first collects human experience via a dedicated recorder, then parses raw experience using a multimodal Action Parser to reconstruct perception, action, and intent. A Step Planner then abstracts these steps into hierarchical task graphs representing goals and steps. Finally, a Tutorial Composer transforms the parsed experience into structured, reusable image-text instructions. We evaluate the tutorial generation quality on a new benchmark derived from official software documentation. We further demonstrate that this distilled representation benefits (i) human learning, by automatically generating multimodal tutorials, and (ii) agent learning, by improving downstream GUI-agent planning and generalization. Experiments show Demo2Tutorial produces high-quality tutorials that surpass human-authored ones and significantly outperform baseline methods, while enabling both faster human task completion and improved GUI agent planning, demonstrating that structured tutorials distilled from human experience can serve as effective knowledge representations for advancing both human learning and agent capabilities. Code and data will be available at https://github.com/showlab/Demo2Tutorial.
• Abstract（参考訳）: デジタル環境での人間の経験は、豊富な手続き的知識を含む、真正で未熟な相互作用の膨大なリソースを提供する。 私たちはDemo2Tutorialというフレームワークを紹介します。このフレームワークは、スクリーン記録とインタラクションログを通じてキャプチャされたこの体験を、人間とエージェントの両方を教えるための構造化されたマルチモーダルソフトウェアチュートリアルに変換するものです。 Demo2Tutorialは、まず専用のレコーダーを介して人間の体験を収集し、次にマルチモーダルアクションパーサーを使用して生の体験を解析して、知覚、行動、意図を再構築する。 ステッププランナーはこれらのステップを、目標とステップを表す階層的なタスクグラフに抽象化します。 最後に、Tutorial Composerは解析された経験を構造化された再利用可能なイメージテキスト命令に変換する。 我々は、公式なソフトウェア文書から得られた新しいベンチマークでチュートリアル生成の品質を評価する。 さらに、この蒸留された表現の利点が示される。 一 ヒューマンラーニング、マルチモーダルチュートリアルの自動作成、及び (II)下流のGUIエージェント計画と一般化を改善してエージェント学習を行う。 実験では、Demo2Tutorialは、人間によって認可されたチュートリアルを超越した高品質のチュートリアルを作成し、ベースライン法を著しく上回りながら、より高速なヒューマンタスク完了とGUIエージェント計画の改善を実現し、人間の経験から抽出した構造化チュートリアルが、人間の学習とエージェント能力の両方を向上するための効果的な知識表現として役立つことを実証した。 コードとデータはhttps://github.com/showlab/Demo2Tutorial.comから入手できる。

関連論文リスト

• No More Manual Guides: Automatic and Scalable Generation of High-Quality Excel Tutorials [63.10037761131196]
  既存のチュートリアルは、専門家が手作業で作成し、ソフトウェアリリース毎に頻繁な更新が必要で、相当なコストがかかる。 自然言語タスク記述から直接Excelチュートリアルを自動生成する最初のフレームワークを提案する。 我々のフレームワークは、最先端のベースラインよりもタスク実行の成功率を8.5%向上させる。
  論文  参考訳（メタデータ） (2025-09-26T03:21:39Z)
• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
  既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。 本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。 完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:27Z)
• Learning Transferable Pedestrian Representation from Multimodal Information Supervision [174.5150760804929]
  VAL-PATは、移動可能な表現を学習し、様々な歩行者分析タスクをマルチモーダル情報で強化する新しいフレームワークである。 まず、LUPerson-TAデータセットで事前トレーニングを行い、各画像にはテキストと属性アノテーションが含まれている。 次に、学習した表現を、人物のreID、人物属性認識、テキストベースの人物検索など、さまざまな下流タスクに転送する。
  論文  参考訳（メタデータ） (2023-04-12T01:20:58Z)
• Learning Object Manipulation Skills via Approximate State Estimation from Real Videos [47.958512470724926]
  人間は、いくつかの指導ビデオを見て、新しいタスクを学ぶことに精通しています。 一方、新しいアクションを学習するロボットは、試行錯誤によって多くの労力を必要とするか、あるいは入手が困難な専門家によるデモを使う必要がある。 本稿では,ビデオから直接オブジェクト操作スキルを学習する手法について検討する。
  論文  参考訳（メタデータ） (2020-11-13T08:53:47Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。