論文の概要: Live Fitness Coaching as a Testbed for Situated Interaction

• arxiv url: http://arxiv.org/abs/2407.08101v2
• Date: Mon, 25 Nov 2024 20:25:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:23:25.671725
• Title: Live Fitness Coaching as a Testbed for Situated Interaction
• Title（参考訳）: 定位インタラクションテストベッドとしてのライブフィットネスコーチング
• Authors: Sunny Panchal, Apratim Bhattacharyya, Guillaume Berger, Antoine Mercier, Cornelius Bohm, Florian Dietrichkeit, Reza Pourreza, Xuanlin Li, Pulkit Madan, Mingu Lee, Mark Todorovich, Ingo Bax, Roland Memisevic,
• Abstract要約: QEVDベンチマークとデータセットは、フィットネスコーチングの挑戦的かつ制御されながら現実的な領域における人間とAIの相互作用を探索するものだ。 このベンチマークでは、複雑な人間の行動を認識し、起こりうる誤りを特定し、リアルタイムで適切なフィードバックを提供するために、視覚言語モデルが必要である。 そこで本研究では,適切なタイミングで適切なフィードバックで人間の行動に非同期に応答できる,シンプルなエンドツーエンドストリーミングベースラインを提案する。
• 参考スコア（独自算出の注目度）: 5.958765450103163
• License:
• Abstract: Vision-language models have shown impressive progress in recent years. However, existing models are largely limited to turn-based interactions, where each turn must be stepped (i.e., prompted) by the user. Open-ended, asynchronous interactions, where an AI model may proactively deliver timely responses or feedback based on the unfolding situation in real-time, are an open challenge. In this work, we present the QEVD benchmark and dataset, which explores human-AI interaction in the challenging, yet controlled, real-world domain of fitness coaching -- a task which intrinsically requires monitoring live user activity and providing immediate feedback. The benchmark requires vision-language models to recognize complex human actions, identify possible mistakes, and provide appropriate feedback in real-time. Our experiments reveal the limitations of existing state-of-the-art vision-language models for such asynchronous situated interactions. Motivated by this, we propose a simple end-to-end streaming baseline that can respond asynchronously to human actions with appropriate feedback at the appropriate time.
• Abstract（参考訳）: 近年、視覚言語モデルは目覚ましい進歩を見せている。 しかし、既存のモデルはターンベースのインタラクションに限られており、各ターンはユーザーによってステップ(即ちトリガー)されなければならない。 AIモデルがリアルタイムに展開する状況に基づいて、タイムリーな応答やフィードバックを積極的に提供する、オープンエンドの非同期インタラクションは、オープンな課題である。 この研究では、QEVDベンチマークとデータセットを紹介します。これは、難しいが制御されている実際のフィットネスコーチングの領域における、人間とAIのインタラクションを探求するものです。 このベンチマークでは、複雑な人間の行動を認識し、起こりうる誤りを特定し、リアルタイムで適切なフィードバックを提供するために、視覚言語モデルが必要である。 我々の実験は、そのような非同期位置相互作用に対する既存の最先端の視覚言語モデルの限界を明らかにする。 そこで本研究では,適切なタイミングで適切なフィードバックで人間の行動に非同期に応答できる,シンプルなエンドツーエンドストリーミングベースラインを提案する。

関連論文リスト

• Collaborative Instance Navigation: Leveraging Agent Self-Dialogue to Minimize User Input [54.81155589931697]
  我々は,ナビゲーション中の動的エージェントと人間との相互作用を考慮したCoIN(Collaborative Instance Navigation)を提案する。 CoINに対処するために,新しいエージェント・ユーザ・インタラクションとUncerTainty Awareness (AIUTA)を提案する。 AIUTAは、最先端のメソッドに対するナビゲーションにおける競合的なパフォーマンスを実現し、ユーザの入力を処理する際の柔軟性を示している。
  論文  参考訳（メタデータ） (2024-12-02T08:16:38Z)
• Visual Contexts Clarify Ambiguous Expressions: A Benchmark Dataset [0.39462888523270856]
  VAGUEは3.9Kの間接的人間発話と対応するシーンを組み合わせたマルチモーダル・ベンチマークである。 我々の研究は、モデルが間接的なコミュニケーションを理解する能力について深く掘り下げ、より洗練され人間的な対話が可能なモデルの開発に貢献することを目的としています。
  論文  参考訳（メタデータ） (2024-11-21T14:01:42Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• Persistent-Transient Duality: A Multi-mechanism Approach for Modeling Human-Object Interaction [58.67761673662716]
  人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。 人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。 本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-07-24T12:21:33Z)
• A Probabilistic Model Of Interaction Dynamics for Dyadic Face-to-Face Settings [1.9544213396776275]
  我々は,対面設定における対の参加者間の相互作用のダイナミクスを捉える確率論的モデルを開発した。 この相互作用エンコーディングは、あるエージェントの将来のダイナミクスを予測する際に、生成に影響を与えるために使用される。 我々のモデルは, 相互作用する力学に基づいて, モード間のデライン化に成功していることを示す。
  論文  参考訳（メタデータ） (2022-07-10T23:31:27Z)
• Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
  Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。 ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-03T23:43:55Z)
• Learning Temporal Dynamics from Cycles in Narrated Video [85.89096034281694]
  時が経つにつれて世界がどのように変化するかをモデル化する学習問題に対する自己監督型ソリューションを提案します。 私たちのモデルは、前方および後方の時間を予測するためにモダリティに依存しない関数を学習します。 将来的な動作の予測や画像の時間的順序付けなど,様々なタスクに対して,学習されたダイナミクスモデルを適用する。
  論文  参考訳（メタデータ） (2021-01-07T02:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。