論文の概要: Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction
- arxiv url: http://arxiv.org/abs/2610.12984v1
- Date: Fri, 09 Oct 2026 04:32:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.389564
- Title: Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction
- Title（参考訳）: Work2Skill: 再利用可能なエージェントスキル誘導のためのヒューマンGUIエクスペリエンスのキャプチャ
- Abstract要約: 再利用可能なエージェントスキル誘導のためのヒューマンGUIエクスペリエンスをキャプチャするフレームワークであるWork2Skillを紹介する。
デスクトップGUIデモの最初の同期マルチモーダルデータセットであるWorkDemo-350を構築した。
そこで本研究では,再利用可能なスキルの需要に関する証拠を検査するエージェント・スキル・インダクション手法を提案する。
- 参考スコア（独自算出の注目度）: 30.300713147246213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computer-use agents can perform increasingly complex GUI tasks, yet unfamiliar software and workflows requiring human domain knowledge remain challenging. Human demonstrations convey procedural knowledge through the same GUI interaction space, but reuse requires interpreting actions in context and separating workflow rules from task-specific details. We thus introduce Work2Skill, a framework that captures human GUI experience for reusable agent skill induction. WorkRecorder provides the framework's infrastructure for collecting this experience, aligning screen recordings, mouse and keyboard events, and available accessibility-tree information. Using WorkRecorder, we construct WorkDemo-350, the first synchronized multimodal dataset of human desktop GUI demonstrations for reusable agent skill induction and downstream evaluation. Its 350 demonstrations are screened for completeness and task success. We then propose an agentic skill-induction method that inspects evidence on demand to produce reusable skills capturing workflow rules, step dependencies, and completion checks. When the same four execution models are equipped with skills induced by each method under shared execution settings, Work2Skill achieves the highest scores and success rates. Mean score improvements over the corresponding No Skill baseline are 4.67--10.54 points on MyPCBench Bounded Action and 3.11--7.50 points on a 286-task subset of OSWorld-Verified. Our code and data are available at https://github.com/china-qijizhifeng/Work2Skill.
- Abstract（参考訳）: コンピュータ利用エージェントはますます複雑なGUIタスクを実行できるが、人間のドメイン知識を必要とするソフトウェアやワークフローは難しいままである。
ヒューマンデモは同じGUIインタラクション空間を通じて手続き的な知識を伝達するが、再利用にはコンテキスト内のアクションを解釈し、ワークフロールールをタスク固有の詳細から分離する必要がある。
そこで我々は、再利用可能なエージェントスキル誘導のためのヒューマンGUIエクスペリエンスをキャプチャするフレームワークWork2Skillを紹介した。
WorkRecorderは、このエクスペリエンスの収集、スクリーン記録の整列、マウスとキーボードのイベント、アクセシビリティツリー情報のためのフレームワークのインフラストラクチャを提供する。
WorkRecorderを用いて、人間のデスクトップGUIデモの最初の同期マルチモーダルデータセットであるWorkDemo-350を構築し、再利用可能なエージェントスキル誘導と下流評価を行う。
350のデモは、完全性とタスクの成功のためにスクリーニングされている。
そこで我々は,ワークフロールール,ステップ依存性,完了チェックをキャプチャした再利用可能なスキルを生成するために,需要に関する証拠を検査するエージェント的スキル推論手法を提案する。
同じ4つの実行モデルが共有実行設定下で各メソッドによって誘導されるスキルを備えている場合、Work2Skillは最高スコアと成功率を達成する。
対応するNo Skillベースラインの平均スコアは、MyPCBench境界アクションの4.67--10.54ポイント、OSWorld-Verifiedの286タスクサブセットの3.11--7.50ポイントである。
私たちのコードとデータはhttps://github.com/china-qijizhifeng/Work2Skill.comで公開されています。
関連論文リスト
- VISUALSKILL: Multimodal Skills for Computer-Use Agents [63.79539541125141]
ターゲットアプリケーション毎に調整された階層型マルチモーダルスキルであるVISUALSKILLを提案する。
著者によるドキュメンテーションとライブアプリケーションUI探索を組み合わせた2段階のパイプラインで、それぞれのスキルを構築します。
2つのCUAベンチマークでは、Claude Code CLIエージェントがClaude Opus 4.6によって支援され、VISUALSKILLで平均スコア0.456に達した。
論文 参考訳（メタデータ） (2026-06-16T19:57:07Z) - Demo2Tutorial: From Human Experience to Multimodal Software Tutorials [63.678709079907684]
Demo2Tutorialは、スクリーン記録とインタラクションログを通じてキャプチャされたエクスペリエンスを構造化されたマルチモーダルソフトウェアチュートリアルに変換するフレームワークである。
ステッププランナーはこれらのステップを、目標とステップを表す階層的なタスクグラフに抽象化します。
Composerは解析されたエクスペリエンスを構造化された再利用可能なイメージテキスト命令に変換する。
論文 参考訳（メタデータ） (2026-06-02T17:39:07Z) - GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection [26.58169185548789]
既存のソリューションは、高価なマルチエージェントの足場や従来のポストトレーニングパラダイムに依存している。
本稿では,GUIの世界知識を因果的内在化と密度認識による模範的再選択によって明示的に内部化する中級学習手法であるGUI-CIDERを提案する。
2つのGUI知識ベンチマークと3つのタスク補完ベンチマークの実験により、GUI-CIDERはエージェントのGUI操作に対する理解とタスク成功率の両方を一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-05-27T14:29:41Z) - SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。
SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。
実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2026-05-12T12:21:49Z) - ShowUI-Aloha: Human-Taught GUI Agent [46.35538753446132]
ShowUI-Alohaは、非構造化され、その内部の人間のスクリーン記録を構造化され、実行可能なタスクに変換する。
学習者はこれらの生の相互作用と周囲の視覚的文脈を意味論的に解釈し、それらを記述的な自然言語キャプションに翻訳する。
解析されたデモを読み、タスク状態を維持し、次のハイレベルアクションプランを動的に定式化するプランナー。
論文 参考訳（メタデータ） (2026-01-12T04:04:20Z) - ShowUI-$π$: Flow-based Generative Models as GUI Dexterous Hands [59.222064425122795]
そこで我々は,GUI dexterous Handとして最初のフローベース生成モデルである ShowUI-$ を開発した。
ShowUI-$$は、たった450万のパラメータで26.98を達成する。
論文 参考訳（メタデータ） (2025-12-31T16:51:14Z) - UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z) - InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection [38.833925781308665]
MLLMベースのGUIエージェントである textitInfiGUIAgent を2段階の教師付き微調整パイプラインでトレーニングした。
ステージ1はGUIの理解や接地といった基本的なスキルを強化し、ステージ2は階層的推論と予測反射推論のスキルを統合する。
textitInfiGUIAgentは、いくつかのGUIベンチマークで競合するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-01-08T15:45:21Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。