論文の概要: MINT-RVAE: Multi-Cues Intention Prediction of Human-Robot Interaction using Human Pose and Emotion Information from RGB-only Camera Data

• arxiv url: http://arxiv.org/abs/2509.22573v1
• Date: Fri, 26 Sep 2025 16:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.597889
• Title: MINT-RVAE: Multi-Cues Intention Prediction of Human-Robot Interaction using Human Pose and Emotion Information from RGB-only Camera Data
• Title（参考訳）: MINT-RVAE:RGB専用カメラデータからの人間行動と感情情報を用いた人間-ロボットインタラクションのマルチキューインテンション予測
• Authors: Farida Mohsen, Ali Safa,
• Abstract要約: 本稿では,人間のインタラクション意図とフレームレベルの精度を予測する新しいパイプラインを提案する。 意図予測における重要な課題は、実世界のHRIデータセットに固有のクラス不均衡である。 我々の手法は最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 0.8839687029212673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiently detecting human intent to interact with ubiquitous robots is crucial for effective human-robot interaction (HRI) and collaboration. Over the past decade, deep learning has gained traction in this field, with most existing approaches relying on multimodal inputs, such as RGB combined with depth (RGB-D), to classify time-sequence windows of sensory data as interactive or non-interactive. In contrast, we propose a novel RGB-only pipeline for predicting human interaction intent with frame-level precision, enabling faster robot responses and improved service quality. A key challenge in intent prediction is the class imbalance inherent in real-world HRI datasets, which can hinder the model's training and generalization. To address this, we introduce MINT-RVAE, a synthetic sequence generation method, along with new loss functions and training strategies that enhance generalization on out-of-sample data. Our approach achieves state-of-the-art performance (AUROC: 0.95) outperforming prior works (AUROC: 0.90-0.912), while requiring only RGB input and supporting precise frame onset prediction. Finally, to support future research, we openly release our new dataset with frame-level labeling of human interaction intent.
• Abstract（参考訳）: ユビキタスロボットと対話する人間の意図を効果的に検出することは、効果的な人間とロボットの相互作用(HRI)と協調に不可欠である。 過去10年間で、深層学習はこの分野で勢いを増し、RGBと深度(RGB-D)を組み合わせたマルチモーダル入力に頼り、知覚データの時系列ウィンドウを対話的または非対話的として分類するアプローチがほとんどである。 対照的に、フレームレベルの精度で人間のインタラクション意図を予測するための新しいRGB専用パイプラインを提案し、ロボットの応答の高速化とサービス品質の向上を実現した。 意図予測における重要な課題は、実際のHRIデータセットに固有のクラス不均衡であり、モデルのトレーニングと一般化を妨げる可能性がある。 そこで本研究では,合成シーケンス生成手法であるMINT-RVAEと,サンプル外データの一般化を促進する新たな損失関数とトレーニング戦略を導入する。 提案手法は,RGB入力のみを必要とし,正確なフレームオンセット予測をサポートするとともに,先行処理(AUROC: 0.95)の性能向上を実現している。 最後に、今後の研究を支援するために、人間のインタラクション意図をフレームレベルにラベル付けした新しいデータセットをオープンにリリースする。

関連論文リスト

• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• SIRST-5K: Exploring Massive Negatives Synthesis with Self-supervised Learning for Robust Infrared Small Target Detection [53.19618419772467]
  単一フレーム赤外線小ターゲット検出(SIRST)は、乱雑な背景から小さなターゲットを認識することを目的としている。 Transformerの開発に伴い、SIRSTモデルのスケールは常に増大している。 赤外線小ターゲットデータの多彩な多様性により,本アルゴリズムはモデル性能と収束速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-03-08T16:14:54Z)
• Egocentric RGB+Depth Action Recognition in Industry-Like Settings [50.38638300332429]
  本研究は,産業的な環境下での自我中心のRGBとDepthモダリティからの行動の認識に焦点を当てる。 我々のフレームワークは、RGBとDepthの両方のモダリティを効果的に符号化する3DビデオSWIN変換器に基づいている。 また,ICIAP 2023におけるマルチモーダル動作認識チャレンジにおいて,本手法が第1位を確保した。
  論文  参考訳（メタデータ） (2023-09-25T08:56:22Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)
• Attention-Oriented Action Recognition for Real-Time Human-Robot Interaction [11.285529781751984]
  本稿では,リアルタイムインタラクションの必要性に応えるために,アテンション指向のマルチレベルネットワークフレームワークを提案する。 具体的には、プレアテンションネットワークを使用して、低解像度でシーン内のインタラクションに大まかにフォーカスする。 他のコンパクトCNNは、抽出されたスケルトンシーケンスをアクション認識用の入力として受信する。
  論文  参考訳（メタデータ） (2020-07-02T12:41:28Z)
• Skeleton Focused Human Activity Recognition in RGB Video [11.521107108725188]
  骨格とRGBの両モードを併用したマルチモーダル特徴融合モデルを提案する。 モデルは、エンドツーエンドの方法で、バックプロパゲーションアルゴリズムによって個別または均一にトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-04-29T06:40:42Z)
• Unsupervised Domain Adaptation through Inter-modal Rotation for RGB-D Object Recognition [31.24587317555857]
  本稿では,RGBと深度画像のモーダル間関係を利用して,合成領域から実領域へのシフトを低減する新しいRGB-D DA法を提案する。 提案手法は,主認識タスクに加えて,RGBと深度画像の相対的回転を予測するプリテキストタスクである畳み込みニューラルネットワークを訓練することで解決する。
  論文  参考訳（メタデータ） (2020-04-21T13:53:55Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。