論文の概要: Kinematic Interface for the Wild: Modular Bimanual Loco-Manipulation Capture from 360$^{\circ}$ Cameras Alone

• arxiv url: http://arxiv.org/abs/2609.22809v1
• Date: Sat, 19 Sep 2026 06:21:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:25:57.968573
• Title: Kinematic Interface for the Wild: Modular Bimanual Loco-Manipulation Capture from 360$^{\circ}$ Cameras Alone
• Title（参考訳）: 360$^{\circ}$ Cameras Alone によるモジュラーバイマン・ロコ・マニピュレーション・キャプチャー
• Abstract要約: 手首に装着されたUMIスタイルのデータ収集用カメラは、操作の記録とシーンのローカライズという2つの仕事をしなければならない。 今回紹介するKIWIは、市販のカメラのみを搭載した捕獲キットだ。 私たちのコアシステムは、2つのジョブを360度カメラの2つのレンズに分割します。
• 参考スコア（独自算出の注目度）: 5.955617032923738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A wrist-mounted camera for UMI-style data collection must do two jobs: record the manipulation and localize in the scene. Most handheld devices localize online from workspace-facing views crowded by hands and objects, or add dedicated tracking hardware. Room-scale bimanual capture therefore still tends to instrument the operator or the scene for accurate localization. We present KIWI (Kinematic Interface for the Wild), a capture kit whose only electronics are off-the-shelf cameras. Our core system splits the two jobs across the two lenses of a 360-degree camera. The rear lens faces the room and builds a shared metric map that registers both hands, and an optional head camera, in one frame without workspace co-visibility; the front lens records the manipulation, and offline IMU fusion bridges front-lens tracking loss. Through our quick-release plate, the camera module attaches to chopstick grippers, parallel-jaw grippers, hand-wrist mounts, or robot flanges. Across six bimanual recordings, combining the rear and front lenses failed to localize only 0.1% of query frames, whereas front-only bimanual feature alignment failed on 24.8% of frames and lost one recording entirely; against evaluation fiducials, localization error stayed within 4.5 mm. KIWI's recovered poses were sufficiently consistent for the four wrist streams alone to reconstruct the scene as a 3D Gaussian splat.
• Abstract（参考訳）: 手首に装着されたUMIスタイルのデータ収集用カメラは、操作の記録とシーンのローカライズという2つの仕事をしなければならない。 ほとんどのハンドヘルドデバイスは、ワークスペースに面したビューからオンラインでローカライズされる。 したがって、ルームスケールのバイマニュアルキャプチャーは、オペレーターやシーンを正確に位置づけする手段をいまだに備えている。 KIWI(Kinematic Interface for the Wild)は、市販のカメラのみを搭載した捕獲キットである。 私たちのコアシステムは、2つのジョブを360度カメラの2つのレンズに分割します。 後部レンズは部屋と向かい合って、両手とオプションのヘッドカメラを1フレームに配置し、ワークスペースのコビジュアライゼーションを行ない、フロントレンズは操作を記録し、オフラインのIMU融合ブリッジはフロントレンズ追跡損失を検知する。 カメラモジュールは当社のクイックリリースプレートを通じて、コップスティックグリップ、パラレルジャウグリップ、ハンドブラストマウント、ロボットフランジに取り付けます。 後部レンズと前部レンズを組み合わせた6つのバイマニュアル録音は、クエリフレームのわずか0.1%しかローカライズできなかったが、フロントオンリーのバイマニュアルアライメントは24.8%のフレームで失敗し、1つのレコードが完全に失われ、評価フィデューシャルでは、ローカライズエラーは4.5mm以内にとどまった。 KIWIの復元されたポーズは、4つの手首のストリームだけで十分に整合性があり、3Dガウスのスプラットとしてシーンを再構築した。

関連論文リスト

• MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision [12.312144883974566]
  我々は、エゴ中心のRGBビデオから世界空間のハンドモーション再構成のための基礎モデルであるMINTを紹介する。 Mintは、カメラの軌跡、視野ビュー、カメラフレームのハンドステート、フレーム単位のハンドオブザーバビリティを共同で予測する。 これは明示的な座標アノテーションによって世界空間の手の動きを生成する。
  論文  参考訳（メタデータ） (2026-09-04T10:05:11Z)
• HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control [51.913695868638634]
  We present HandsOnWorld, a framework for hand-control egocentric video generation that for multi-view and marker-based motion capture, learning from unconstrained monocular video。 EgoVid-Proは、クリーンでプロタゴニストのみのハンドトラジェクトリのデータセットで、103Kのクリップと、さまざまな日常シーンの約1200万フレームにまたがる。 また, カメラから手表面への3次元光線表現, カメラと手の動きを表現レベルで切り離す3次元ハンドマップを提案する。
  論文  参考訳（メタデータ） (2026-07-02T12:14:02Z)
• LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World [13.822357528424325]
  エゴセントリックなマルチカメラヘッドセットから3Dの人間の動きを追跡することは、激しいエゴモーションに悩まされる。 LAMPは、観測者や目標運動を早期に切り離してこれを解決するための新しいフレームワークである。 LAMPは単分子ベンチマークで最先端の結果を得るが、対象の自我中心の設定のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-05-06T19:23:22Z)
• Bring Your Rear Cameras for Egocentric 3D Human Pose Estimation [69.68568832269285]
  ヘッドマウントデバイス(HMD)の前に設置したカメラを用いて,エゴセントリックな3次元ポーズ推定を積極的に研究している。 自己閉塞性や視野範囲の制限により、フルボディトラッキングが同じであるかどうかは不明だ。 マルチビュー情報と熱マップの不確実性を用いて2次元関節熱マップ推定を改良するトランスフォーマーに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-14T17:59:54Z)
• AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers [66.29824750770389]
  カメラの動きを第一原理の観点から分析し、正確な3Dカメラ操作を可能にする洞察を明らかにする。 これらの知見を合成して、高度な3Dカメラ制御(AC3D)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2024-11-27T18:49:13Z)
• MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
  正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。 本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2021-08-10T18:39:56Z)
• Cross-Camera Feature Prediction for Intra-Camera Supervised Person Re-identification across Distant Scenes [70.30052164401178]
  人物再識別(Re-ID)は、重複しないカメラビュー間で人物画像をマッチングすることを目的としている。 ICS-DS Re-IDは、カメラ内IDラベル付きクロスカメラアンペアデータを使用してトレーニングを行う。 カメラ横断型自己監視情報マイニングのためのクロスカメラ特徴予測法 グローバルレベルの特徴とローカルレベルの特徴の合同学習は、グローバルなローカルなクロスカメラ特徴予測スキームを形成する。
  論文  参考訳（メタデータ） (2021-07-29T11:27:50Z)
• CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the Wild [31.334715988245748]
  ラベルのないマルチビューデータから1つの画像3Dポーズ推定器を学習する自己教師型アプローチを提案する。 既存のほとんどの方法とは対照的に、校正カメラは必要とせず、移動カメラから学ぶことができる。 成功の鍵は、ビューとトレーニングサンプルの情報を混ぜ合わせた、新しく偏見のない再建目標である。
  論文  参考訳（メタデータ） (2020-11-30T10:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。