論文の概要: Plan, Watch, Recover: A Benchmark and Architectures for Proactive Procedural Assistance

• arxiv url: http://arxiv.org/abs/2606.04970v1
• Date: Wed, 03 Jun 2026 14:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.839307
• Title: Plan, Watch, Recover: A Benchmark and Architectures for Proactive Procedural Assistance
• Title（参考訳）: Plan, Watch, Recover: プロシージャ支援のためのベンチマークとアーキテクチャ
• Abstract要約: textbfEgoProactiveは、OOP(Out-of-Plan)アノテーションとリカバリ手順によるプロシージャアシストのためのウェアラブル中心のデータセットです。 本稿では、手続き状態、視覚的手がかり、リカバリインジェクションに特化して、textbfdecoupled Planner-interaction Architectureを提案する。 広範囲な実験において、Llama-4システムは、強力なプロプライエタリベースラインよりも客観的介入品質を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 49.46086226939232
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We envision a proactive multi-modal assistant system which gives users real-time step-by-step guidance on a procedural task, autonomously deciding \textit{when} to interrupt, and \textit{how} to coach. However, progress is limited by the absence of large-scale, cross-domain benchmarks that reflect realistic conditions, particularly the common case in which users deviate from the expected step sequence. We address this gap with four contributions: \textbf{(1)}~we release \textbf{EgoProactive}, a large-scale wearable-egocentric dataset for proactive procedural assistance with explicit Out-of-Plan (OOP) annotations and recovery steps; \textbf{(2)}~we augment five established benchmarks (Ego4D, EPIC-KITCHENS, EgoExo4D, HoloAssist, HowTo100M) into \textbf{Pro\textsuperscript{2}Bench} under a unified proactive-guidance schema; \textbf{(3)}~we propose a \textbf{decoupled planner--interaction architecture} specialized for procedural state, visual cues, and recovery injection; \textbf{(4)}~we introduce a post-training recipe that transfers across model families, validated by cross-backbone replication on Llama~4 and Qwen-3.6-VL. In extensive experiments, our trained Llama-4 system substantially improves objective intervention quality over strong proprietary baselines (Claude Opus~4.6, Gemini~3.1~Pro, GPT~5.2) and open-weight baselines (Qwen3~VL~235B) baselines across all six datasets. Oracle-plan experiments further show that, when plan quality is controlled, the trained duplex model produces high-quality guidance and large gains on Out-of-Plan recovery.
• Abstract（参考訳）: 本稿では,プロシージャタスクをリアルタイムにステップバイステップで指導し,割り込みを自動決定し,コーチングを指示する,プロアクティブなマルチモーダルアシスタントシステムを提案する。 しかし、実際の状況、特にユーザが期待するステップシーケンスから逸脱する一般的なケースを反映した大規模なクロスドメインベンチマークが存在しないため、進捗は制限されている。 このギャップには、4つのコントリビューションがある: \textbf{(1)}~We release \textbf{EgoProactive}, a large-scale wearable-egocentric dataset for proactive procedural aid with explicit Out-of-Plan(OOP)アノテーションとリカバリステップ; \textbf{(2)}~we augment five established benchmarks (Ego4D, EPIC-KITCHENS, EgoExo4D, HoloAssist, HowTo100M) into \textbf{Pro\textsuperscript{2}Bench} under a unified proactive-guidance schema; \textbf{(3)}~ we propose a \textbf{decoupled planner-interaction} for special state cues, visual injection and injection; \textbf{(2)}~we augmented recipes of a prototypes (Ego4D, EPIC-KITCHENS, EgoExo4D, HoloAssist, HowTo100M) into \textbf{Pro\textsuperscript{2}? 大規模な実験では、Llama-4システムは強力なプロプライエタリベースライン(Claude Opus~4.6, Gemini~3.1~Pro, GPT~5.2)とオープンウェイトベースライン(Qwen3~VL~235B)よりも客観的介入品質が大幅に向上する。 Oracle-plan実験は、プランの品質が制御されると、訓練されたデュプレックスモデルが高品質なガイダンスと、アウト・オブ・プランの回復に大きな利益をもたらすことを示している。

関連論文リスト

• SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD [91.71050339479261]
  本稿では,Ascend NPU SuperPODにおけるエンドツーエンド最適化手法を提案する。 モデルレベルの並列性、計算通信オーケストレーション、低レベルのカーネル実行にまたがる階層的最適化フレームワークを開発した。 その結果、34.22%のモデルFLOP(Model FLOP)利用が達成され、オープンソースのベースラインレシピよりも2.93倍改善された。
  論文  参考訳（メタデータ） (2026-07-22T13:49:17Z)
• Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation [40.0334846364089]
  VLA(Vision-Language-Action)モデルは、マルコフの自然が現在の観測にのみ依存するため、長い水平課題に苦しむ。 我々は,高レベルなVLMから低レベルなVLAへ,実行可能かつトラクタブルなサブタスクプランを伝達するフレームワークであるCortexを紹介する。 これにより、4k時間以上のオープンソースビデオデータの自動アノテーションと30時間のシミュレーションデータを生成することができる。
  論文  参考訳（メタデータ） (2026-07-06T17:55:05Z)
• Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models [63.96252564303143]
  Embodied-R1.5は統合されたEmbodied Foundation Model(EFM)であり、包括的エンボディド推論機能を統合する。 我々は15B以上のトークンからなる大規模データシステムを構築し、マルチタスクバランスのRLレシピを設計する。 8Bパラメータしか持たず、Embodied-R1.5 SOTAは24のVLMベンチマークのうち16で、Gemini-Robotics-ER-1.5やGPT-5.4といった主要なモデルを上回った。
  論文  参考訳（メタデータ） (2026-06-09T18:07:50Z)
• TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition [62.56752617853322]
  アウトカムベースの報酬はスパースフィードバックのみを提供するが、トラジェクトリによる報酬は注釈付き参照ソリューションに依存している。 本稿では,関数スキーマと実行時実行を直接管理する報奨フレームワークであるtrajectory-Invariant Execution Rewardsを提案する。
  論文  参考訳（メタデータ） (2026-05-16T03:47:26Z)
• PIVOT: Bridging Planning and Execution in LLM Agents via Trajectory Refinement [22.285969725581044]
  大規模言語モデル(LLM)ベースのエージェントは、実行時に失敗するように見える一貫性のある計画を生成する。 PIVOTは、トラジェクトリを最適化可能なオブジェクトとして、環境相互作用を通じて反復的に洗練する自己管理フレームワークを通じて、この計画実行ミスアライメントに対処する。
  論文  参考訳（メタデータ） (2026-05-11T20:43:20Z)
• Every Step Counts: Step-Level Credit Assignment for Tool-Integrated Text-to-SQL [13.130554329857496]
  ツール拡張テキストにおけるステップレベルクレジット代入のための新しいフレームワークであるFineStepを提案する。 FineStepは4BスケールでGRPOよりも平均3.25%向上し,最先端のパフォーマンスを実現し,冗長なツールインタラクションを低減する。
  論文  参考訳（メタデータ） (2026-05-06T10:10:31Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• MagicAgent: Towards Generalized Agent Planning [73.21129030631421]
  汎用エージェント計画に特化して設計された基盤モデルである textbfMagicAgent について述べる。 多様な計画タスクにまたがる高品質なトラジェクトリを生成する軽量でスケーラブルな合成データフレームワークを提案する。 MagicAgent-32B と MagicAgent-30B-A3B は様々なオープンソースベンチマークにおいて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-02-22T01:39:16Z)
• Tool-Aware Planning in Contact Center AI: Evaluating LLMs through Lineage-Guided Query Decomposition [2.8180871881371456]
  コンタクトセンターにおけるツール・アウェア・プラン生成のためのドメイン・グラウンド・フレームワークとベンチマークを提案する。 i) 基準ベースの計画評価フレームワークを2つのモードで動作させる: (i) 計量的評価器とワンショット評価器、および (ii) 評価器>最適化器ループを介して計画を反復的に洗練するデータ方法論である。
  論文  参考訳（メタデータ） (2026-02-16T17:36:05Z)
• ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
  ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
  論文  参考訳（メタデータ） (2026-01-29T16:04:59Z)
• Experiences from Benchmarking Vision-Language-Action Models for Robotic Manipulation [22.40720239761228]
  本稿では,4種類のVLAをベンチマークした経験を報告する。 我々は,3つの重要な側面に沿って性能を計測するtextbf Standardized Evaluation frameworkを構築した。 VLAモデルアーキテクチャ間のトレードオフとして,精度,一般化,デプロイメントコストのバランスが考えられる。
  論文  参考訳（メタデータ） (2025-11-14T13:35:30Z)
• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
  私たちはSingle-Passを紹介します。 Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。 数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。 ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• Learning to Decompose: Hypothetical Question Decomposition Based on Comparable Texts [65.84370471189676]
  本研究は,分解型変圧器の大規模中間訓練について,比較テキストから遠ざかって検討する。 このような中間的事前学習により、多様なタスクのための堅牢な分解ベースモデルの開発がより実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-30T15:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。