論文の概要: Improving Proactive AI Assistance with Hierarchical Procedural Understanding

• arxiv url: http://arxiv.org/abs/2610.06505v2
• Date: Tue, 06 Oct 2026 14:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.428747
• Title: Improving Proactive AI Assistance with Hierarchical Procedural Understanding
• Title（参考訳）: 階層的手続き的理解によるプロアクティブAI支援の改善
• Abstract要約: プロアクティブなAIアシスタントは、新しいガイダンスを提供するか、沈黙し続けるかを決定する。 既存のデータセットは、検出に基づくプロアクティブな理解に焦点を当てるか、あるいは一定の粒度で手続き的なガイダンスを提供する。 本稿では,ProactiveCoach-Instruct for Training,ProactiveCoachBench for Evaluation,および適応誘導システムを用いた微調整VLMについて紹介する。
• 参考スコア（独自算出の注目度）: 38.561690032281824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proactive AI assistants continuously observe a user's activity and decide whether to provide new guidance or remain silent. They should provide appropriate guidance for the task, determine when to provide the next guidance based on task progress, and adjust the guidance level to the user's expertise and needs. Supporting these capabilities requires training and evaluation data that reflect procedural structure and capture how guidance should adapt to task progress and user needs. However, existing datasets either focus on detection-based proactive understanding or provide procedural guidance at a fixed granularity. Fixed-granularity guidance provides limited information about fine-grained progress and broader procedural context, making it difficult to determine completion and adapt guidance granularity. To address these limitations, we introduce the ProactiveCoach suite, comprising ProactiveCoach-Instruct for training, ProactiveCoachBench for evaluation, and fine-tuned VLMs with an adaptive guidance system. ProactiveCoach-Instruct provides hierarchically structured guidance at the phase, step, and action levels for learning task progress and procedural context. ProactiveCoachBench evaluates whether models provide appropriate guidance at the right time across different guidance levels and adapt when the requested level changes. We fine-tune pretrained VLMs on ProactiveCoach-Instruct and demonstrate its effectiveness across backbones. Compared with fixed-granularity supervision, hierarchical supervision improves overall performance across backbones by up to 9.6%p. We further build an adaptive guidance system by combining our fine-tuned model with a lightweight guidance router. Without additional fine-tuning, our system outperforms the in-context adaptation baseline by 57.1%p across four guidance-level transitions. Our project page is available at https://jinsuby.github.io/ProactiveCoach/.
• Abstract（参考訳）: アクティブなAIアシスタントは、ユーザの活動を継続的に観察し、新しいガイダンスを提供するか、沈黙を保つかを決定する。 タスクの適切なガイダンスを提供し、タスクの進捗状況に基づいて次のガイダンスをいつ提供すべきかを判断し、ユーザの専門知識やニーズに合わせてガイダンスレベルを調整する必要がある。 これらの機能をサポートするには、手続き構造を反映したトレーニングと評価データが必要である。 しかし、既存のデータセットは検出に基づくプロアクティブな理解に焦点を当てるか、あるいは一定の粒度で手続き的なガイダンスを提供する。 固定粒度ガイダンスは、細粒度とより広い手続きコンテキストに関する限られた情報を提供するため、完成度を判断し、ガイダンスの粒度を適応することは困難である。 これらの制約に対処するため、トレーニング用ProactiveCoach-Instruct、評価用ProactiveCoachBench、適応誘導システム付き微調整VLMを含むProactiveCoachスイートを導入する。 ProactiveCoach-Instructは、タスクの進捗と手続き的コンテキストを学ぶためのフェーズ、ステップ、アクションレベルで階層的に構造化されたガイダンスを提供する。 ProactiveCoachBenchは、モデルが異なるガイダンスレベルにわたって適切なタイミングでガイダンスを提供し、要求されたレベルが変わったときに適応するかどうかを評価する。 ProactiveCoach-InstructのVLMを微調整し,背骨間の有効性を実証した。 固定粒度監督と比較して、階層的監督は背骨全体のパフォーマンスを最大9.6%向上させる。 さらに、微調整されたモデルと軽量誘導ルータを組み合わせることで、適応誘導システムを構築する。 追加の微調整がなければ、我々のシステムは4つのガイダンスレベルの遷移に対して、文脈内適応ベースラインを57.1%向上させる。 私たちのプロジェクトページはhttps://jinsuby.github.io/ProactiveCoach/で公開されています。

関連論文リスト

• SkillRubric: Co-Evolving Actor Guidance and Evaluator Rubrics for Multimodal Agents [36.892034513729804]
  SkillRubricを導入し、アクター向けガイダンスと評価器向けルーブリックを用いて各スキルを表現した。 マルチモーダル検証器は、スクリーンショットとツールアウトプットを使用してスキル定義目標を評価し、完了と進捗の報酬を責任あるターンに割り当てる。 多様なマルチモーダルエージェントベンチマークによる実験は、一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2026-09-28T08:14:18Z)
• Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning [49.0945829107309]
  SuperIgorは,自己学習機構を通じて,高レベルプランの生成と洗練を可能にする。 RLエージェントは生成された計画に従うように訓練され、言語モデルはRLのフィードバックと好みに基づいてこれらの計画を適応し、修正する。 その結果、SuperIgorエージェントはベースラインメソッドよりも厳密な命令に固執する一方で、これまで見つからなかった命令に対して強力な一般化を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-04-22T14:19:23Z)
• Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
  連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。 実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T19:55:32Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Counterfactual Cycle-Consistent Learning for Instruction Following and Generation in Vision-Language Navigation [172.15808300686584]
  本稿では,2つのタスクを同時に学習し,それぞれのトレーニングを促進するために本質的な相関性を利用するアプローチについて述べる。 提案手法は,様々な追従モデルの性能を改善し,正確なナビゲーション命令を生成する。
  論文  参考訳（メタデータ） (2022-03-30T18:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。