論文の概要: VICON: Visual-Inertial-Contact based Hand-Object Tracking for Manipulation Datasets

• arxiv url: http://arxiv.org/abs/2610.05180v1
• Date: Sun, 04 Oct 2026 12:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 22:52:31.691827
• Title: VICON: Visual-Inertial-Contact based Hand-Object Tracking for Manipulation Datasets
• Title（参考訳）: VICON: 操作データセットのための視覚的慣性接触に基づく手動物体追跡
• Abstract要約: 本稿では,Visual-Inertial-Contact を用いた手動物体追跡フレームワークを提案する。 操作中に接触情報とともに手の動きと物体の動きをホログラムで捉えます。 VICONを用いて、同期手対象運動、接触点、正常力を含むデータセットを構築する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning dexterous manipulation benefits from human demonstration datasets that capture diverse and natural hand-object interactions. In particular, contact points and forces provide supervision on where and how strongly to interact, which cannot be fully captured by motion trajectories alone. However, methods for jointly capturing hand and object motion, contact points, and forces remain limited. Moreover, severe occlusion from hand-object interaction challenges accurate tracking of both hands and objects. To address these limitations, we present a Visual-Inertial-CONtact based hand-object tracking (VICON) framework. It holistically captures both hand and object motion along with contact information during manipulation, even under severe occlusion. First, we adopt a visual-inertial glove and an RGB-D camera for accurate hand tracking, and redesign the glove to incorporate contact sensing. Specifically, force-sensitive resistors (FSRs) are placed on the glove based on human grasp frequency to synchronously record contact states and calibrated normal forces. Second, without requiring pre-existing CAD models, we estimate object poses using RGB-D images and a mesh reconstructed from a monocular video. We propose factor-graph-based object trajectory estimation that fuses object-pose estimates weighted by visibility under hand-object occlusion, FSR measurements, and a hand-motion prior. Across 40 motion-capture sessions with five objects, VICON achieves a 2.5% failed-frame rate compared with 50.9-64.6% for the baselines, with median errors of 3.9 mm and 3.0 degrees under occlusion. Using VICON, we construct a dataset containing synchronized hand-object motion, contact points, and normal forces, and will publicly release an expanded dataset covering 10 object categories at https://github.com/VICON-dataset/dataset.
• Abstract（参考訳）: 巧妙な操作の学習は、多種多様な自然な手-対象のインタラクションをキャプチャする人間のデモンストレーションデータセットから恩恵を受ける。 特に、接触点と力は、どこで、どのように相互作用するかを監督するが、運動軌跡だけでは完全に捕捉できない。 しかし、手動・物体運動・接触点・力の同時捕獲方法はまだ限られている。 さらに、手と物体の相互作用からの重度の排除は、手と物体の正確な追跡を困難にしている。 これらの制約に対処するため、我々はVisual-Inertial-Contact based hand-object tracking (VICON) フレームワークを提案する。 操作中の接触情報とともに手の動きと物体の動きを、重度の閉塞下でもホログラム的に捉えます。 まず、手の動きを正確に追跡するために視覚慣性グローブとRGB-Dカメラを採用し、コンタクトセンサーを組み込むためにグローブを再設計する。 具体的には、接触状態を同期的に記録し、正常な力を校正するために、人間のつかみ周波数に基づいて、力感受性抵抗器(FSR)をグローブ上に配置する。 第二に、既存のCADモデルを必要とせずに、RGB-D画像とモノクロビデオから再構成したメッシュを用いてオブジェクトのポーズを推定する。 本研究では,手動物体の視認性,FSR測定,手動による物体位置推定を融合した因子グラフに基づく物体軌跡推定手法を提案する。 5つのオブジェクトを持つ40のモーションキャプチャセッション中、VICONは50.9-64.6%のベースラインに対して2.5%のフレームレートで失敗し、中央値の誤差は3.9mmと3.0°である。 VICONを用いて,手動動作,接触点,正常力を含むデータセットを構築し,https://github.com/VICON-dataset/datasetで10の対象カテゴリをカバーする拡張データセットを公開する。

関連論文リスト

• ComPose: When to Trust Hands for Object Pose Tracking [44.085148707189035]
  ComPoseは、6DoFオブジェクトトラッキングフレームワークで、RGBビデオから手動でオブジェクトのポーズを推定するように設計されている。 本手法は,物体追跡のためのテキスト補完キューとして手の動きを調和させる。 結果は、ロボットがオンラインビデオから人間の行動を再構築できるようにすることで、下流ロボット操作に効果的に移行することができる。
  論文  参考訳（メタデータ） (2026-05-22T11:39:49Z)
• Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
  本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。 新たな統合的ツイスト推定法を用いて調音モデルを推定する。 また,Arti4D-Semanticデータセットについても紹介する。
  論文  参考訳（メタデータ） (2026-02-18T10:40:35Z)
• Articulated Object Estimation in the Wild [25.616481887384708]
  ArtiPointは、動的カメラモーションと部分観測可能性の下で、明瞭なオブジェクトモデルを推論できる新しい推定フレームワークである。 ディープポイントトラッキングと因子グラフ最適化フレームワークを組み合わせることで、ArtiPointは生のRGB-Dビデオから直接、調音部分軌跡と調音軸を強く推定する。 ArtiPointを古典的および学習ベースのベースラインに対してベンチマークし、Arti4Dで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-09-01T18:34:17Z)
• ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation [68.80339307258835]
  ARCTICは、オブジェクトを巧みに操作する両手のデータセットである。 正確な3Dハンドメッシュと、詳細でダイナミックな接触情報を組み合わせた2.1Mビデオフレームを含んでいる。
  論文  参考訳（メタデータ） (2022-04-28T17:23:59Z)
• Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction [27.87570749976023]
  本稿では,手と物体の接触を予測するビデオベース手法を提案する。 多数のハンドオブジェクトトラックやコンタクトラベルに注釈をつけるのはコストがかかる。 i)モーションベース擬似ラベルを用いたトレーニングデータの自動収集と(ii)ガイド付きプログレッシブラベル補正(gPLC)からなる半教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-19T18:00:02Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
  両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。 本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。 我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
  論文  参考訳（メタデータ） (2021-04-22T17:10:42Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。