論文の概要: Interactive Program Synthesis for Modeling Collaborative Physical Activities from Narrated Demonstrations

• arxiv url: http://arxiv.org/abs/2509.24250v1
• Date: Mon, 29 Sep 2025 03:44:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.729551
• Title: Interactive Program Synthesis for Modeling Collaborative Physical Activities from Narrated Demonstrations
• Title（参考訳）: ナレーションによる協調的身体活動のモデル化のための対話型プログラム合成
• Authors: Edward Kim, Daniel He, Jorge Chao, Wiktor Rajca, Mohammed Amin, Nishant Malpani, Ruta Desai, Antti Oulasvirta, Bjoern Hartmann, Sanjit Seshia,
• Abstract要約: 協調的なタスクは、本質的に曖昧で動的なプロセスであるチームメイト意図について、ユーザの仮定を推測するシステムを必要とします。 これにより、解釈可能で修正可能な表現が必要となり、ユーザーはシステムの振る舞いを検査し、洗練することができる。 本システムでは,動作を編集可能なプログラムとして表現し,学習,検査,システム論理の修正のための統一的なモダリティとして,ペアリングされた物理行動と自然言語を用いたナレーションを用いた実演を行う。
• 参考スコア（独自算出の注目度）: 25.0323690874561
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Teaching systems physical tasks is a long standing goal in HCI, yet most prior work has focused on non collaborative physical activities. Collaborative tasks introduce added complexity, requiring systems to infer users assumptions about their teammates intent, which is an inherently ambiguous and dynamic process. This necessitates representations that are interpretable and correctable, enabling users to inspect and refine system behavior. We address this challenge by framing collaborative task learning as a program synthesis problem. Our system represents behavior as editable programs and uses narrated demonstrations, i.e. paired physical actions and natural language, as a unified modality for teaching, inspecting, and correcting system logic without requiring users to see or write code. The same modality is used for the system to communicate its learning to users. In a within subjects study, 20 users taught multiplayer soccer tactics to our system. 70 percent (14/20) of participants successfully refined learned programs to match their intent and 90 percent (18/20) found it easy to correct the programs. The study surfaced unique challenges in representing learning as programs and in enabling users to teach collaborative physical activities. We discuss these issues and outline mitigation strategies.
• Abstract（参考訳）: システムの物理的タスクを教えることは、HCIの長年の目標である。 コラボレーションタスクは、システムに対して、チームメイト意図に関するユーザの仮定を推論する必要がある、という、本質的に曖昧で動的なプロセスを導入します。 これにより、解釈可能で修正可能な表現が必要となり、ユーザーはシステムの振る舞いを検査し、洗練することができる。 本稿では,協調的なタスク学習をプログラム合成問題として扱うことで,この問題に対処する。 本システムでは,動作を編集可能なプログラムとして表現し,ユーザがコードを見たり書いたりすることなく,システムロジックを学習,検査,修正するための統一的なモダリティとして,ペアリングされた物理行動と自然言語のナレーションを用いた実演を行う。 システムが学習をユーザーに伝えるのと同じモダリティが使用されている。 被験者内調査では,20名のユーザがマルチプレイヤーサッカーの戦術をシステムに教えた。 参加者の70%(14/20)が学習プログラムを改良し、90%(18/20)がプログラムの修正に成功しました。 この研究は、学習をプログラムとして表現することや、ユーザーが協調的な身体活動を教えることの独特な課題を浮き彫りにした。 これらの問題について論じ、緩和戦略の概要を述べる。

関連論文リスト

• Evaluating the Effectiveness of Large Language Models in Solving Simple Programming Tasks: A User-Centered Study [1.0467092641687232]
  本研究では,ChatGPT-4oとのインタラクションスタイルの違いが,単純なプログラミングタスクにおけるユーザパフォーマンスに与える影響について検討する。 15人の高校生が3種類のモデルで3つの問題を完成させた。
  論文  参考訳（メタデータ） (2025-07-05T13:52:31Z)
• Toward Personalizing Quantum Computing Education: An Evolutionary LLM-Powered Approach [0.0]
  本稿では,量子コンピューティング教育のためのインテリジェント・インストラクション・アシスタントについて紹介する。 このシステムは知識グラフ拡張アーキテクチャと2つの特殊言語モデル(LLM)エージェントを組み合わせる。
  論文  参考訳（メタデータ） (2025-04-24T21:53:34Z)
• Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
  具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。 SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。 本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-08T15:22:38Z)
• Optimising Human-AI Collaboration by Learning Convincing Explanations [62.81395661556852]
  本研究では,人間による意思決定によって安全を保ちながら協調的なシステムを構築する手法を提案する。 Ardentは、説明のための個人の好みに適応することで、効率的で効果的な意思決定を可能にする。
  論文  参考訳（メタデータ） (2023-11-13T16:00:16Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• ASHA: Assistive Teleoperation via Human-in-the-Loop Reinforcement Learning [91.58711082348293]
  オンラインユーザからのフィードバックからシステムのパフォーマンスに関する強化学習は、この問題に対する自然な解決策である。 このアプローチでは、特にフィードバックが不足している場合には、ループ内の大量のトレーニングデータが必要になる傾向があります。 疎いユーザフィードバックから効率的に学習する階層型ソリューションを提案する。
  論文  参考訳（メタデータ） (2022-02-05T02:01:19Z)
• BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning [108.41464483878683]
  本稿では,視覚に基づくロボット操作システムにおいて,新しいタスクを一般化することの課題について検討する。 実演と介入の両方から学ぶことができるインタラクティブで柔軟な模倣学習システムを開発した。 実際のロボットにおけるデータ収集を100以上のタスクにスケールすると、このシステムは平均的な成功率44%で24の目に見えない操作タスクを実行できる。
  論文  参考訳（メタデータ） (2022-02-04T07:30:48Z)
• PyBryt: auto-assessment and auto-grading for computational thinking [6.1345408064202696]
  本稿では,プログラミングの課題について,学生に形式的フィードバックを提供するための新しいアプローチを提案する。 提案手法では,学生のコードから生成された中間結果を動的に評価し,教師が提供した参照実装と比較する。
  論文  参考訳（メタデータ） (2021-12-03T20:01:06Z)
• Findings from Experiments of On-line Joint Reinforcement Learning of Semantic Parser and Dialogue Manager with real Users [3.9686445409447617]
  本論文では,これらの困難を緩和する便利な方法として,オンライン学習を追求する。 新しい課題は、ユーザが生み出すオンライン学習のコストを制御することである。
  論文  参考訳（メタデータ） (2021-10-25T18:51:41Z)
• Learning Adaptive Language Interfaces through Decomposition [89.21937539950966]
  本稿では,分解による新しいハイレベルな抽象化を学習するニューラルセマンティック解析システムを提案する。 ユーザは、新しい振る舞いを記述する高レベルな発話を低レベルなステップに分解することで、対話的にシステムを教える。
  論文  参考訳（メタデータ） (2020-10-11T08:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。