Fugu-MT 論文翻訳(概要): DYAD: A Multimodal Dataset of Co-Located Human Assistance

論文の概要: DYAD: A Multimodal Dataset of Co-Located Human Assistance

arxiv url: http://arxiv.org/abs/2609.09023v1
Date: Tue, 08 Sep 2026 16:53:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-11 14:59:43.592394
Title: DYAD: A Multimodal Dataset of Co-Located Human Assistance
Title（参考訳）: DYAD: マルチモーダルな人間支援データセット
Abstract要約: DYADは、ギアボックス組立て時の人間と人間の援助を同期したマルチモーダル記録である。 20セッションにわたって、1人の訓練されたヘルパーがHoloLens 2の着用者を支援しながらガイダンスファーストのポリシーに従っている。 DYADは528のタスクステップ間隔と611のパフォーマーリクエストをリンクする。
参考スコア（独自算出の注目度）: 4.7162526983012185
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: An embodied assistant working beside a person must track task state, recognize help seeking, choose how to intervene, and produce an appropriate response. Existing procedural datasets richly describe individual execution, while interactive datasets capture remote verbal instruction or undifferentiated co-working. They do not jointly link a co-located helper's verbal and physical interventions to performer requests, task state, assistance triggers, and outcomes. We introduce DYAD (DYadic Assistance Dataset), a synchronized multimodal record of human-human assistance during gearbox assembly. Across 20 sessions, one trained helper follows a guidance-first policy while assisting HoloLens 2 wearers. DYAD links 528 task-step intervals and 611 performer requests with 851 valid assistance records spanning verbal and physical help. DYAD's annotations span the assistance process; three reference tasks evaluate selected components rather than an end-to-end system: causal step understanding, pre-onset mode anticipation, and instructor response generation. On 829 eligible mode events, the strongest four-seed RGB mean is 0.548 +/- 0.007 macro-F1; causal metadata reaches 0.624 and a privileged trigger mapping 0.915, revealing information not recovered from pre-onset RGB. DYAD's contribution is not scale, but a linked interaction structure spanning help seeking, intervention choice, execution, and outcome under egocentric and workspace sensing.
Abstract（参考訳）: 人のそばで働く具体的アシスタントは、タスク状態を追跡し、助けを求めることを認識し、介入する方法を選択し、適切な応答を生成する必要がある。既存の手続き的データセットは、個々の実行を豊かに記述し、対話的データセットは、リモートの言語命令または未分化のコワーキングをキャプチャする。彼らは、同じ場所にいるヘルパーの言葉と身体の介入を、パフォーマーの要求、タスク状態、助けの引き金、結果と共同で結び付けない。 DYAD(DYadic Assistance Dataset, DYadic Assistance Dataset, DYAD)は、ギアボックス組立て時の人間と人間の援助を同期したマルチモーダル記録である。 20セッションにわたって、1人の訓練されたヘルパーがHoloLens 2の着用者を支援しながらガイダンスファーストのポリシーに従っている。 DYADは528のタスクステップ間隔と611のパフォーマーリクエストをリンクする。 3つの参照タスクは、因果的ステップ理解、プレオンセットモード予測、インストラクター応答生成という、エンドツーエンドシステムではなく、選択されたコンポーネントを評価する。 829の許容モードイベントでは、最も強力な4列RGBの平均値は0.548 +/- 0.007マクロF1であり、因果メタデータは0.624に達し、特権トリガーマッピング0.915となり、プリオンセットRGBから復元されていない情報を明らかにする。 DYADの貢献はスケールではなく、エゴセントリックでワークスペースのセンシングの下での探索、介入の選択、実行、結果にまたがる相互作用構造である。

関連論文リスト

TutorTrace: A Dataset and Taxonomy for Classifying Learner Behavioral States during AI-Assisted Programming Education [10.562166959716771]
TutorTraceはデータセットと振る舞いの抽象化パイプラインで、学習者の振る舞いコンテキストをリアルタイムで可視化し、計算可能にする。我々は、最初のAIクエリの前に学習者のアクティビティの分類を導き、連続的なクエリ間で、そして全セッションにわたって導き出す。予備的な教室評価では、行動認識のプロンプトは、独立した作業を行わないクエリ間の間隔を50.0%から20.7%に減少させる。
論文参考訳（メタデータ） (2026-08-22T11:40:23Z)
PACT: Proactive Asking for Continual Task Assistance in Human-Robot Collaboration [62.13457838323877]
PACT(Proactive Asking for Continual Task Assistance)は,行動を起こす前に明確化を求めるかどうかを判断する質問・実行フレームワークである。我々は、強化学習を用いて、その初等学習インスタンス化を実装し、同じ枠組みの下で代替インスタンス化を評価する。マルチデイの実施したコラボレーションシナリオの実験では、パッシブ推論ベースラインと比較して、PACTはアシスト精度と明確化ユーティリティの両方を一貫して改善している。
論文参考訳（メタデータ） (2026-05-23T02:22:02Z)
HHI-Assist: A Dataset and Benchmark of Human-Human Interaction in Physical Assistance Scenario [63.77482302352545]
HHI-Assist(ヒヒ・アシスト)は、人間の介助作業における人間のインタラクションのモーションキャプチャークリップからなるデータセットである。私たちの研究は、ロボット支援ポリシーを大幅に強化する可能性がある。
論文参考訳（メタデータ） (2025-09-12T09:38:17Z)
Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
論文参考訳（メタデータ） (2025-08-06T17:46:23Z)
HoloAssist: an Egocentric Human Interaction Dataset for Interactive AI Assistants in the Real World [48.90399899928823]
この研究は、物理的な世界でのタスクを実行することで人間を対話的に導くインテリジェントエージェントを開発するための、より広範な研究努力の一環である。大規模なエゴセントリックなヒューマンインタラクションデータセットであるHoloAssistを紹介する。人間のアシスタントがミスを正し、タスク完了手順に介入し、環境に指示を下す方法について、重要な知見を提示する。
論文参考訳（メタデータ） (2023-09-29T07:17:43Z)
First Place Solution to the CVPR'2023 AQTC Challenge: A Function-Interaction Centric Approach with Spatiotemporal Visual-Language Alignment [15.99008977852437]
AQTC(Affordance-Centric Question-driven Task Completion)は、ビデオから包括的かつ体系的な指示を持つユーザに取得するために提案されている。既存の手法は、視覚的信号と言語的信号の整合性、および人間の物体間の重要な相互作用情報を無視してきた。本稿では,安定かつ信頼性の高いマルチモーダルデータに寄与する大規模事前学習型視覚モデルとビデオ言語モデルを組み合わせることを提案する。
論文参考訳（メタデータ） (2023-06-23T09:02:25Z)
ATTACH Dataset: Annotated Two-Handed Assembly Actions for Human Action Understanding [8.923830513183882]
ATTACHデータセットは、95.2kの注釈付き微粒なアクションを3台のカメラで監視する51.6時間のアセンブリを含む。 ATTACHデータセットでは、アノテーションの68%以上が他のアノテーションと重複している。ビデオおよび骨格配列入力における動作検出だけでなく,動作認識のための最先端手法の性能について報告する。
論文参考訳（メタデータ） (2023-04-17T12:31:24Z)
Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文参考訳（メタデータ） (2022-10-12T15:02:04Z)
On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification [66.58450185833479]
本稿では,Pose Estimationを補助学習タスクとして活用して,エンドツーエンドフレームワークにおけるVI-ReIDタスクを支援する。これら2つのタスクを相互に有利な方法で共同でトレーニングすることにより、高品質なモダリティ共有とID関連の特徴を学習する。 2つのベンチマークVI-ReIDデータセットの実験結果から,提案手法は一定のマージンで最先端の手法を継続的に改善することが示された。
論文参考訳（メタデータ） (2022-01-11T09:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。