論文の概要: AGILE: Hand-Object Interaction Reconstruction from Video via Agentic Generation

• arxiv url: http://arxiv.org/abs/2602.04672v1
• Date: Wed, 04 Feb 2026 15:42:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.597068
• Title: AGILE: Hand-Object Interaction Reconstruction from Video via Agentic Generation
• Title（参考訳）: AGILE: エージェント生成によるビデオからの手動インタラクション再構築
• Authors: Jin-Chuan Shi, Binhong Ye, Tao Liu, Junzhe He, Yangjinhui Xu, Xiaoyang Liu, Zeju Li, Hao Chen, Chunhua Shen,
• Abstract要約: 本稿では,対話学習のためのエージェント生成にパラダイムを転換する,堅牢なフレームワークAGILEを紹介する。 我々はAGILEがグローバルな幾何学的精度でベースラインを上回り、先行技術が頻繁に崩壊する挑戦的なシーケンスに対して、例外的な堅牢性を証明していることを示す。
• 参考スコア（独自算出の注目度）: 45.753757870577196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing dynamic hand-object interactions from monocular videos is critical for dexterous manipulation data collection and creating realistic digital twins for robotics and VR. However, current methods face two prohibitive barriers: (1) reliance on neural rendering often yields fragmented, non-simulation-ready geometries under heavy occlusion, and (2) dependence on brittle Structure-from-Motion (SfM) initialization leads to frequent failures on in-the-wild footage. To overcome these limitations, we introduce AGILE, a robust framework that shifts the paradigm from reconstruction to agentic generation for interaction learning. First, we employ an agentic pipeline where a Vision-Language Model (VLM) guides a generative model to synthesize a complete, watertight object mesh with high-fidelity texture, independent of video occlusions. Second, bypassing fragile SfM entirely, we propose a robust anchor-and-track strategy. We initialize the object pose at a single interaction onset frame using a foundation model and propagate it temporally by leveraging the strong visual similarity between our generated asset and video observations. Finally, a contact-aware optimization integrates semantic, geometric, and interaction stability constraints to enforce physical plausibility. Extensive experiments on HO3D, DexYCB, and in-the-wild videos reveal that AGILE outperforms baselines in global geometric accuracy while demonstrating exceptional robustness on challenging sequences where prior art frequently collapses. By prioritizing physical validity, our method produces simulation-ready assets validated via real-to-sim retargeting for robotic applications.
• Abstract（参考訳）: モノクロビデオからの動的ハンドオブジェクトインタラクションの再構築は、デクスタラスな操作データ収集と、ロボットとVRのためのリアルなデジタルツインの作成に不可欠である。 しかしながら、現在の手法では、2つの禁止障壁に直面している。(1) ニューラルレンダリングへの依存は、重閉塞下で断片化された非シミュレーション対応のジオメトリーを生じることが多く、(2) 脆性構造移動(SfM)の初期化への依存は、ワイヤ内の映像に頻繁に失敗する。 このような制限を克服するため,対話学習のためのエージェント生成にパラダイムを転換する堅牢なフレームワークであるAGILEを紹介した。 まず、VLM(Vision-Language Model)が生成モデルを誘導し、ビデオの閉塞によらず、高忠実なテクスチャで完全な水密なオブジェクトメッシュを合成するエージェントパイプラインを用いる。 次に、脆弱なSfMを完全に回避し、ロバストなアンカー・アンド・トラック戦略を提案する。 我々は、基礎モデルを用いて、単一のインタラクション・オンセット・フレームにおけるオブジェクトのポーズを初期化し、生成したアセットとビデオの観察との強い視覚的類似性を利用して、時間的に伝播する。 最後に、接触認識最適化は、意味的、幾何学的、相互作用安定性の制約を統合し、物理的妥当性を強制する。 HO3D, DexYCB, in-the-wildビデオの大規模な実験により、AGILEはグローバルな幾何学的精度でベースラインを上回り、先行技術が頻繁に崩壊する挑戦的なシーケンスに例外的な堅牢性を示す。 身体的妥当性を優先することにより,ロボット応用のためのリアルタイムリターゲティングにより,シミュレーション可能な資産を創出する。

関連論文リスト

• Masked Modeling for Human Motion Recovery Under Occlusions [21.05382087890133]
  MoRoは、ビデオコンディショニングタスクとしてモーション再構成を定式化する、エンドツーエンドの生成フレームワークである。 MoRoは、1つのH200 GPU上で70FPSのリアルタイム推論を実現する。
  論文  参考訳（メタデータ） (2026-01-22T16:22:20Z)
• ByteLoom: Weaving Geometry-Consistent Human-Object Interactions through Progressive Curriculum Learning [19.292101162897975]
  本稿では,幾何的に一貫したオブジェクト図面を持つ実写HOIビデオを生成するByteLoomを紹介する。 まず、相対座標マップ(RCM)をオブジェクトの幾何整合性を維持する普遍表現として活用するRCM-cache機構を提案する。 次に、モデル能力を進歩的なスタイルで向上し、ハンドメッシュの需要を緩和するトレーニングカリキュラムを設計する。
  論文  参考訳（メタデータ） (2025-12-28T09:38:36Z)
• SpriteHand: Real-Time Versatile Hand-Object Interaction with Autoregressive Video Generation [64.3409486422946]
  本研究では,手動インタラクションビデオのリアルタイム合成のための自動回帰ビデオ生成フレームワークSpriteHandを提案する。 我々のモデルは自己回帰生成のための因果推論アーキテクチャを採用し、視覚リアリズムと時間的コヒーレンスを高めるために学習後のハイブリッドアプローチを活用している。 実験は、生成的ベースラインとエンジンベースラインの両方と比較して、視覚的品質、物理的妥当性、相互作用の忠実さが優れていることを示した。
  論文  参考訳（メタデータ） (2025-12-01T18:13:40Z)
• PhysCorr: Dual-Reward DPO for Physics-Constrained Text-to-Video Generation with Automated Preference Selection [10.498184571108995]
  本稿では,ビデオ生成における物理一貫性をモデリング,評価,最適化するための統合フレームワークであるPhysCorrを提案する。 具体的には、物体内安定性と物体間相互作用の両方を定量化する最初の2次元報酬モデルである物理RMを紹介する。 我々のアプローチは、モデルに依存しないスケーラブルで、幅広いビデオ拡散とトランスフォーマーベースのバックボーンへのシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-11-06T02:40:57Z)
• Kinematify: Open-Vocabulary Synthesis of High-DoF Articulated Objects [59.51185639557874]
  本稿では,任意のRGB画像やテキスト記述から直接音声オブジェクトを合成するフレームワークであるKinematifyを紹介する。 提案手法は, 高DoFオブジェクトに対する運動的トポロジの推測と静的幾何からの関節パラメータの推定という2つの課題に対処する。
  論文  参考訳（メタデータ） (2025-11-03T07:21:42Z)
• Puppeteer: Rig and Animate Your 3D Models [105.11046762553121]
  Puppeteerは、さまざまな3Dオブジェクトの自動リギングとアニメーションの両方に対処する包括的なフレームワークである。 本システムはまず, 自己回帰変換器を用いて, 可塑性骨格構造を推定する。 その後、注意に基づくアーキテクチャにより、皮膚の重量を推定する。
  論文  参考訳（メタデータ） (2025-08-14T17:59:31Z)
• SViMo: Synchronized Diffusion for Video and Motion Generation in Hand-object Interaction Scenarios [48.09735396455107]
  ハンドオブジェクトインタラクション(HOI)生成には、大きな応用可能性がある。 現在の3D HOIモーション生成アプローチは、事前に定義された3Dオブジェクトモデルとラボでキャプチャされたモーションデータに大きく依存している。 本稿では,同期拡散プロセス内での視覚的事前制約と動的制約を組み合わせることで,HOIビデオと動きを同時に生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-03T05:04:29Z)
• Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control [72.00655365269]
  本稿では,協調的軌跡定式化を通じてオブジェクト間ダイナミクスをモデル化する新しいフレームワークであるRoboMasterを紹介する。 オブジェクトを分解する従来の方法とは異なり、我々のコアは、相互作用プロセスを3つのサブステージ(相互作用前、相互作用後、相互作用後)に分解することである。 提案手法は既存の手法よりも優れており,ロボット操作のための軌道制御ビデオ生成における最先端性能を確立している。
  論文  参考訳（メタデータ） (2025-06-02T17:57:06Z)
• MEgoHand: Multimodal Egocentric Hand-Object Interaction Motion Generation [28.75149480374178]
  MEgoHandは、エゴセントリックなRGB、テキスト、初期手ポーズから物理的にプラウジブルなハンドオブジェクトインタラクションを合成するフレームワークである。 手首の翻訳誤差と関節回転誤差の大幅な低減を実現し、手首の微細な関節構造を正確にモデル化する能力を強調している。
  論文  参考訳（メタデータ） (2025-05-22T12:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。