論文の概要: RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction

• arxiv url: http://arxiv.org/abs/2608.13028v1
• Date: Thu, 13 Aug 2026 09:55:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.467771
• Title: RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction
• Title（参考訳）: ロボット間物体ハンドオーバ予測のためのRGB-Dビデオ生成
• Abstract要約: H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。 本稿では,RGB-DビデオデータセットであるHand2Botを紹介する。 ハンドオブジェクトの一貫性を確保しつつ,現実的なハンドオーバシーケンスを合成する生成パイプラインであるPassGenを提案する。
• 参考スコア（独自算出の注目度）: 51.76737991200891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-to-robot (H2R) object handover is a fundamental capability for human-robot collaboration, yet progress is hindered by the scarcity of large-scale, human-centric datasets and the significant sim-to-real gap. To address these challenges, we introduce Hand2Bot, an RGB-D video dataset that provides rich contextual information such as body posture and facial expressions, specifically collected for handover scenarios with real-world noise patterns. We further propose PassGen, a generative pipeline that leverages stable video diffusion and an Intention-Aware Temporal Face Encoder to synthesize realistic handover sequences while ensuring hand-object consistency. To bridge the sim-to-real gap, we implement a morphology-based depth editing strategy that replicates realistic sensor noise found in physical depth maps. Experimental evaluations demonstrate that our framework achieves high intention identification accuracy and low false trigger rates in both ablation studies and real-world deployment on a physical robot platform. Our results confirm that training on PassGen allows for robust zero-shot transfer and earlier intention anticipation compared to traditional hand-centric baselines, effectively enabling socially aware robotic behavior in shared workspaces.
• Abstract（参考訳）: H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。 これらの課題に対処するために、実世界のノイズパターンを持つハンドオーバシナリオのために特別に収集された、身体姿勢や表情などのリッチなコンテキスト情報を提供するRGB-DビデオデータセットであるHand2Botを紹介した。 さらに、安定したビデオ拡散と意図認識型テンポラルフェイスエンコーダを利用して、手動オブジェクトの整合性を確保しつつ、現実的なハンドオーバシーケンスを合成するPassGenを提案する。 シミュレーションと現実のギャップを埋めるために、物理深度マップに見られる現実的なセンサノイズを再現する形態素に基づく深度編集戦略を実装した。 実験により,本フレームワークは,物理ロボットプラットフォーム上でのアブレーション研究と実世界展開の両方において,高い意図的識別精度と誤トリガ率を実現することが示された。 その結果,PassGenのトレーニングは従来の手中心のベースラインと比較して,堅牢なゼロショット転送と早期の意図予測を可能にし,共有ワークスペースにおける社会的認知ロボット行動の実現に有効であることが確認された。

関連論文リスト

• RoboSnap: One-Shot Real-to-Sim Scene Generation for Generalizable Robot Learning and Evaluation [55.07260698542592]
  我々は,1枚のRGB画像をシミュレーション可能なシーンに変換する,リアル・トゥ・シミュレート・フレームワークであるRoboSnapを紹介した。 DROIDシーンと実ロボットタスクの実験は、復元されたシーンでRoboSnapが信頼できる軌道再生を実現することを示している。 DROIDのリアルワールドシーン564から構築したリアル・トゥ・シムデータセットであるDROID-Simを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T18:19:10Z)
• Video2Sim2Real: Full-Stack Autonomous Dexterous Skill Acquisition from a Single Human Video [25.87334839420446]
  Video2Sim2Realは、単一の人間の操作ビデオから自律的なスキル獲得のためのフルスタックフレームワークである。 既製の基礎モデルを用いてシミュレーター対応のデジタルツインを再構築し,ロボットや物体の動きを抽出する。 我々は,雑音の多い実世界の点雲からILを介してロボットの構成を調整し,残差RLを利用して局所的な指レベル適応を行う。
  論文  参考訳（メタデータ） (2026-06-07T20:45:47Z)
• OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
  OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。 3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。 ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
  論文  参考訳（メタデータ） (2026-06-07T10:01:53Z)
• Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation [90.90219129619344]
  本稿では,スパイキング機能を備えたR-prior-S, Recurrent Geometric-priormodal Policyを提案する。 物理的現実の高レベル推論を基礎として、軽量な2次元幾何学的帰納バイアスを利用する。 ロボット行動生成におけるデータ効率問題に対して,再帰的適応スパイクネットワークを導入する。
  論文  参考訳（メタデータ） (2026-01-13T23:36:30Z)
• Real-Time Human-Robot Interaction Intent Detection Using RGB-based Pose and Emotion Cues with Cross-Camera Model Generalization [0.8839687029212673]
  公共空間におけるサービスロボットは、自然な相互作用のための人間の行動意図をリアルタイムに理解する必要がある。 モノクラーRGBビデオから抽出した2次元骨格ポーズと顔の感情特徴を融合したフレーム精度の人-ロボットインタラクション意図検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-18T08:44:22Z)
• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)
• R2RGEN: Real-to-Real 3D Data Generation for Spatially Generalized Manipulation [74.41728218960465]
  本稿では,実世界のデータを生成するために,ポイントクラウド観測-アクションペアを直接拡張するリアルタイム3Dデータ生成フレームワーク(R2RGen)を提案する。 R2RGenは、広範な実験におけるデータの効率を大幅に向上させ、モバイル操作におけるスケーリングと応用の強い可能性を示す。
  論文  参考訳（メタデータ） (2025-10-09T17:55:44Z)
• Sim2Real Transfer for Vision-Based Grasp Verification [7.9471205712560264]
  本稿では,ロボットグリップが物体の把握に成功しているかどうかを判断するために,視力に基づく検証手法を提案する。 本手法は,ロボットのグリップを検知し,検出するための,最初のYOLOに基づく物体検出モデルである2段階アーキテクチャを用いている。 実世界のデータキャプチャの限界に対処するために,多様な把握シナリオをシミュレートする合成データセットであるHSR-Grasp Synthを導入する。
  論文  参考訳（メタデータ） (2025-05-05T22:04:12Z)
• Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover [5.329513275750882]
  本稿では,1枚のRGB-D画像から暗黙的ニューラル表現関数を生成できるHADR法を提案する。 提案手法は手動姿勢を重要なガイダンスとして利用し,手動物体間相互作用の意味的および幾何学的情報を活用する。 さらに,HADRに基づく実世界の人間ロボットハンドオーバシステムを開発し,人間ロボットインタラクションへの応用の可能性を示す。
  論文  参考訳（メタデータ） (2024-08-27T12:25:12Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。