Fugu-MT 論文翻訳(概要): Plan, Watch, Recover: A Benchmark and Architectures for Proactive Procedural Assistance

論文の概要: Plan, Watch, Recover: A Benchmark and Architectures for Proactive Procedural Assistance

arxiv url: http://arxiv.org/abs/2606.04970v1
Date: Wed, 03 Jun 2026 14:52:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-04 20:44:18.839307
Title: Plan, Watch, Recover: A Benchmark and Architectures for Proactive Procedural Assistance
Title（参考訳）: Plan, Watch, Recover: プロシージャ支援のためのベンチマークとアーキテクチャ
Authors: Kaustav Kundu, Ritvik Shrivastava, Maxim Arap, Nanshu Wang, Xianhui Zhu, Quintin Fettes, Gautam Tiwari, Parth Suresh, Théo Moutakanni, Alejandro Castillejo Munoz, Allen Bolourchi, Pascale Fung, Pinar Donmez, Babak Damavandi, Anuj Kumar, Seungwhan Moon,
Abstract要約: textbfEgoProactiveは、OOP(Out-of-Plan)アノテーションとリカバリ手順によるプロシージャアシストのためのウェアラブル中心のデータセットです。本稿では、手続き状態、視覚的手がかり、リカバリインジェクションに特化して、textbfdecoupled Planner-interaction Architectureを提案する。広範囲な実験において、Llama-4システムは、強力なプロプライエタリベースラインよりも客観的介入品質を大幅に向上させる。
参考スコア（独自算出の注目度）: 49.46086226939232
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We envision a proactive multi-modal assistant system which gives users real-time step-by-step guidance on a procedural task, autonomously deciding \textit{when} to interrupt, and \textit{how} to coach. However, progress is limited by the absence of large-scale, cross-domain benchmarks that reflect realistic conditions, particularly the common case in which users deviate from the expected step sequence. We address this gap with four contributions: \textbf{(1)}~we release \textbf{EgoProactive}, a large-scale wearable-egocentric dataset for proactive procedural assistance with explicit Out-of-Plan (OOP) annotations and recovery steps; \textbf{(2)}~we augment five established benchmarks (Ego4D, EPIC-KITCHENS, EgoExo4D, HoloAssist, HowTo100M) into \textbf{Pro\textsuperscript{2}Bench} under a unified proactive-guidance schema; \textbf{(3)}~we propose a \textbf{decoupled planner--interaction architecture} specialized for procedural state, visual cues, and recovery injection; \textbf{(4)}~we introduce a post-training recipe that transfers across model families, validated by cross-backbone replication on Llama~4 and Qwen-3.6-VL. In extensive experiments, our trained Llama-4 system substantially improves objective intervention quality over strong proprietary baselines (Claude Opus~4.6, Gemini~3.1~Pro, GPT~5.2) and open-weight baselines (Qwen3~VL~235B) baselines across all six datasets. Oracle-plan experiments further show that, when plan quality is controlled, the trained duplex model produces high-quality guidance and large gains on Out-of-Plan recovery.
Abstract（参考訳）: 本稿では,プロシージャタスクをリアルタイムにステップバイステップで指導し,割り込みを自動決定し,コーチングを指示する,プロアクティブなマルチモーダルアシスタントシステムを提案する。しかし、実際の状況、特にユーザが期待するステップシーケンスから逸脱する一般的なケースを反映した大規模なクロスドメインベンチマークが存在しないため、進捗は制限されている。このギャップには、4つのコントリビューションがある: \textbf{(1)}~We release \textbf{EgoProactive}, a large-scale wearable-egocentric dataset for proactive procedural aid with explicit Out-of-Plan(OOP)アノテーションとリカバリステップ; \textbf{(2)}~we augment five established benchmarks (Ego4D, EPIC-KITCHENS, EgoExo4D, HoloAssist, HowTo100M) into \textbf{Pro\textsuperscript{2}Bench} under a unified proactive-guidance schema; \textbf{(3)}~ we propose a \textbf{decoupled planner-interaction} for special state cues, visual injection and injection; \textbf{(2)}~we augmented recipes of a prototypes (Ego4D, EPIC-KITCHENS, EgoExo4D, HoloAssist, HowTo100M) into \textbf{Pro\textsuperscript{2}? 大規模な実験では、Llama-4システムは強力なプロプライエタリベースライン(Claude Opus~4.6, Gemini~3.1~Pro, GPT~5.2)とオープンウェイトベースライン(Qwen3~VL~235B)よりも客観的介入品質が大幅に向上する。 Oracle-plan実験は、プランの品質が制御されると、訓練されたデュプレックスモデルが高品質なガイダンスと、アウト・オブ・プランの回復に大きな利益をもたらすことを示している。

論文の概要: Plan, Watch, Recover: A Benchmark and Architectures for Proactive Procedural Assistance

関連論文リスト