論文の概要: SIGHT: Single-Image Conditioned Generation of Hand Trajectories for Hand-Object Interaction

• arxiv url: http://arxiv.org/abs/2503.22869v1
• Date: Fri, 28 Mar 2025 20:53:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:36:16.758442
• Title: SIGHT: Single-Image Conditioned Generation of Hand Trajectories for Hand-Object Interaction
• Title（参考訳）: SIGHT: ハンドオブジェクトインタラクションのためのハンドトラジェクトリの単一画像コンディショニング生成
• Authors: Alexey Gavryushin, Florian Redhardt, Gaia Di Lorenzo, Luc Van Gool, Marc Pollefeys, Kaichun Mo, Xi Wang,
• Abstract要約: 本研究では,物体の1つの画像に対して,現実的かつ多様な3次元ハンドトラジェクトリを生成する新しいタスクを提案する。 手動物体の相互作用の軌跡は、ロボット工学、具体化されたAI、拡張現実、および関連分野の応用に大きな恩恵をもたらす。
• 参考スコア（独自算出の注目度）: 86.54738165527502
• License:
• Abstract: We introduce a novel task of generating realistic and diverse 3D hand trajectories given a single image of an object, which could be involved in a hand-object interaction scene or pictured by itself. When humans grasp an object, appropriate trajectories naturally form in our minds to use it for specific tasks. Hand-object interaction trajectory priors can greatly benefit applications in robotics, embodied AI, augmented reality and related fields. However, synthesizing realistic and appropriate hand trajectories given a single object or hand-object interaction image is a highly ambiguous task, requiring to correctly identify the object of interest and possibly even the correct interaction among many possible alternatives. To tackle this challenging problem, we propose the SIGHT-Fusion system, consisting of a curated pipeline for extracting visual features of hand-object interaction details from egocentric videos involving object manipulation, and a diffusion-based conditional motion generation model processing the extracted features. We train our method given video data with corresponding hand trajectory annotations, without supervision in the form of action labels. For the evaluation, we establish benchmarks utilizing the first-person FPHAB and HOI4D datasets, testing our method against various baselines and using multiple metrics. We also introduce task simulators for executing the generated hand trajectories and reporting task success rates as an additional metric. Experiments show that our method generates more appropriate and realistic hand trajectories than baselines and presents promising generalization capability on unseen objects. The accuracy of the generated hand trajectories is confirmed in a physics simulation setting, showcasing the authenticity of the created sequences and their applicability in downstream uses.
• Abstract（参考訳）: 物体の1つの画像から現実的で多様な3次元ハンドトラジェクトリを生成する新しいタスクを導入する。 人間が物体をつかむとき、適切な軌道は自然に私たちの心に形成され、特定のタスクにそれを使う。 手動物体の相互作用の軌跡は、ロボット工学、具体化されたAI、拡張現実、および関連分野の応用に大きな恩恵をもたらす。 しかし、1つの対象または手動物体の相互作用画像が与えられた現実的かつ適切な手動軌跡を合成することは、非常にあいまいな作業であり、興味の対象を正しく識別する必要がある。 この課題に対処するために,オブジェクト操作を含む自我中心ビデオから手動インタラクションの詳細の視覚的特徴を抽出するキュレートパイプラインと,抽出した特徴を拡散型条件付きモーション生成モデルからなるSIGHT-Fusionシステムを提案する。 我々は,アクションラベルの形式を監督することなく,ビデオデータに対応する手トラジェクトリアノテーションを付与する手法を訓練する。 評価のために、FPHABとHOI4Dのデータセットを用いてベンチマークを作成し、様々なベースラインに対してメソッドをテストし、複数のメトリクスを使用する。 また、生成したハンドトラジェクトリの実行とタスク成功率の報告のためのタスクシミュレータも追加の指標として導入する。 実験により,本手法はベースラインよりも適切で現実的なハンドトラジェクトリを生成し,未知の物体に対して有望な一般化能力を示す。 生成したハンドトラジェクトリの精度を物理シミュレーション設定で確認し、生成したシーケンスの真偽と下流使用における適用性を示す。

関連論文リスト

• BimArt: A Unified Approach for the Synthesis of 3D Bimanual Interaction with Articulated Objects [70.20706475051347]
  BimArtは3Dバイマニュアルハンドインタラクションを音声オブジェクトと合成するための新しい生成手法である。 まず, 物体軌道上に配置された距離ベースの接触マップを, 音声認識特徴表現を用いて生成する。 学習された接触は手の動き生成装置のガイドに使われ、物体の動きや調音のための多彩で現実的なバイマニュアルの動きが生成されます。
  論文  参考訳（メタデータ） (2024-12-06T14:23:56Z)
• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [57.942404069484134]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• ManiDext: Hand-Object Manipulation Synthesis via Continuous Correspondence Embeddings and Residual-Guided Diffusion [36.9457697304841]
  ManiDextは、手操作やポーズを把握するための階層的な拡散ベースの統合フレームワークである。 私たちの重要な洞察は、相互作用中の物体と手との接触関係を正確にモデル化することが重要であるということです。 本フレームワークは,まず,物体表面への接触マップと対応埋め込みを生成する。 これらの微粒な対応に基づき,拡散過程に反復的精錬プロセスを統合する新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-14T04:28:44Z)
• DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
  DiffH2Oとよばれる新しい手法を提案する。 本手法では,限られたデータから効果的な学習を可能にする3つの手法を導入する。
  論文  参考訳（メタデータ） (2024-03-26T16:06:42Z)
• Gaze-guided Hand-Object Interaction Synthesis: Dataset and Method [61.19028558470065]
  本稿では,視線,手,物間相互作用の3次元モデリングを同時に行う最初のデータセットであるGazeHOIを紹介する。 これらの課題に対処するため,GHO-Diffusion という手動物体間相互作用拡散モデルを提案する。 また, GHO拡散のサンプリング段階におけるHOI-Manifold Guidanceを導入し, 生成した動きのきめ細かい制御を可能にする。
  論文  参考訳（メタデータ） (2024-03-24T14:24:13Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• Physically Plausible Full-Body Hand-Object Interaction Synthesis [32.83908152822006]
  そこで本研究では,全体で手-物体間相互作用を合成するための物理に基づく手法を提案する。 既存のメソッドは、しばしば相互作用プロセスの分離されたセグメントにフォーカスし、成果物をもたらす可能性のあるデータ駆動技術に依存します。
  論文  参考訳（メタデータ） (2023-09-14T17:55:18Z)
• Tracking and Reconstructing Hand Object Interactions from Point Cloud Sequences in the Wild [35.55753131098285]
  本稿では,手関節運動を推定するために,点クラウドを用いた手関節追跡ネットワークであるHandTrackNetを提案する。 このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。 オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。
  論文  参考訳（メタデータ） (2022-09-24T13:40:09Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
  本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。 本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
  論文  参考訳（メタデータ） (2020-11-06T10:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。