論文の概要: DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching

• arxiv url: http://arxiv.org/abs/2606.31980v1
• Date: Tue, 30 Jun 2026 17:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.324303
• Title: DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching
• Title（参考訳）: DigitalCoach:人間とエージェントのコンピュータ利用コーチングにおけるコミュニケーションと接地ギャップ
• Abstract要約: DigitalCoachは72人の専門家と初心者のコンピュータによるコーチングセッションのデータセットである。 我々はDigitalCoachを使って、最先端のモデルが人間にコンピュータの使い方を教えることができるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 29.967055473472218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agents are increasingly capable of automating software tasks, but can they teach humans how to use software themselves? We introduce DigitalCoach, a multimodal dataset of 72 human expert-novice computer use coaching sessions consisting of 22,752 dialogue turns grounded in 28.1 hours of screen and input event recordings across five software applications. We use DigitalCoach to evaluate whether state-of-the-art models can teach humans how to use computers. Automated evaluation shows that models differ from humans in how they coach: models provide more direct instructions, but fewer explanations, error diagnoses, and knowledge-check questions. When we fix the coaching method, models produce utterances similar to human references yet poorly grounded in visual context. Interactive evaluation confirms that model coaches cause learners to passively follow instructions without deeper engagement and fall short in visual grounding. DigitalCoach lays a foundation for collaborative and proactive computer use coaching agents.
• Abstract（参考訳）: エージェントはソフトウェアタスクを自動化する能力がますます高まっているが、ソフトウェア自体の使い方を人間に教えることができるだろうか? 我々はDigitalCoachを紹介する。DigitalCoachは、72人の専門家・初心者コンピュータ使用のコーチングセッションのマルチモーダルデータセットで、5つのソフトウェアアプリケーションにまたがる28.1時間のスクリーンと入力イベントの記録に接地された22,752の対話ターンで構成される。 我々はDigitalCoachを使って、最先端のモデルが人間にコンピュータの使い方を教えることができるかどうかを評価する。 モデルはより直接的な指示を提供するが、説明やエラー診断、知識チェックの質問は少ない。 コーチング手法を修正した場合、モデルは人間の参照と同様の発話を生成するが、視覚的文脈では不十分である。 インタラクティブな評価により、モデルコーチは学習者がより深いエンゲージメントを伴わずに受動的に指示に従うようにし、視覚的接地において不足することを確認した。 DigitalCoachは、協調的でプロアクティブなコンピュータ利用コーチングエージェントの基礎を築いている。

関連論文リスト

• AI as a component in the action research tradition of learning-by-doing [0.0]
  我々は行動研究、ハッキング、発見、調査、学習・バイ・ドーピングを通じて数学を学ぶことを検討する。 自己認識、型、関数、構造化図面、形式図に基づく学習モデルは、ドリルと練習の弱点に対処する。 この伝統は対話と数学の役割を強調している。
  論文  参考訳（メタデータ） (2025-11-14T16:14:57Z)
• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
  既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。 本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。 完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:27Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• MathDial: A Dialogue Tutoring Dataset with Rich Pedagogical Properties Grounded in Math Reasoning Problems [74.73881579517055]
  そこで本稿では,一般学生の誤りを表現した大規模言語モデルを用いて,人間教師の対話を生成する枠組みを提案する。 このフレームワークを用いて3kの1対1の教師-学生対話のデータセットであるMathDialを収集する方法について述べる。
  論文  参考訳（メタデータ） (2023-05-23T21:44:56Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• You Truly Understand What I Need: Intellectual and Friendly Dialogue Agents grounding Knowledge and Persona [30.30372603825815]
  外部知識とペルソナを同時に活用する効果的な対話エージェントを提案する。 エージェントは、ポリエンコーダで実装された候補スコアで回答を生成するために使用する適切な知識とペルソナを選択する。 我々はペルソナ知識チャットの実験を行い、グラウンドおよび生成タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-01-06T06:47:21Z)
• Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos [16.858980871368175]
  我々は、半自明な模倣学習を通じて、インターネット規模の事前学習パラダイムをシーケンシャルな決定領域に拡張する。 この動作先行はゼロショット機能を有しておらず、模倣学習と強化学習の両方で微調整可能であることを示す。 多くのタスクにおいて、私たちのモデルは人間レベルのパフォーマンスを示しており、ダイアモンドツールを作れるコンピュータエージェントを最初に報告しています。
  論文  参考訳（メタデータ） (2022-06-23T16:01:11Z)
• First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization [112.40598205054994]
  我々はこのアイデアを、インターフェースを最適化するための完全に教師なしの目的として定式化する。 タイピング,シミュレートされたロボットの制御,ゲームプレイなど,様々なキーボードとアイアイのインタフェースを運用しているユーザの540K例について,観察的研究を行った。 以上の結果から,我々の相互情報スコアは,様々な領域における真真正タスク完了メトリクスの予測値であることが示唆された。
  論文  参考訳（メタデータ） (2022-05-24T21:57:18Z)
• Deploying Lifelong Open-Domain Dialogue Learning [48.12600947313494]
  本研究では,オープンドメインファンタジーの世界にある学習エージェントと人間プレイヤーが会話するロールプレイングゲームを構築し,展開する。 自動メトリクスとオンラインエンゲージメントスコアから,ゲーム中の人間との会話に関するモデルをトレーニングすることで,モデルを段階的に改善することを示す。 この学習は、実際のユーザとの会話に適用した場合のクラウドソースデータよりも効率的であり、収集するコストもはるかに安い。
  論文  参考訳（メタデータ） (2020-08-18T17:57:26Z)
• On the interaction between supervision and self-play in emergent communication [82.290338507106]
  本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。 人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
  論文  参考訳（メタデータ） (2020-02-04T02:35:19Z)
• "Why is 'Chicago' deceptive?" Towards Building Model-Driven Tutorials for Humans [19.32935518528528]
  我々は、人間が機械の予測を理解するのを助けるためのモデル駆動チュートリアルを探索する。 チュートリアルは、リアルタイムのアシストなしで、人間のパフォーマンスを実際に改善している。 我々の研究は、人間中心のチュートリアルと、人間とAIのシナジーへの説明の今後の方向性を示唆している。
  論文  参考訳（メタデータ） (2020-01-14T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。