論文の概要: HarmoHOI: Harmonizing Appearance and 3D Motion for Multi-view Hand-Object Interaction Synthesis

• arxiv url: http://arxiv.org/abs/2607.17097v1
• Date: Sun, 19 Jul 2026 06:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.355881
• Title: HarmoHOI: Harmonizing Appearance and 3D Motion for Multi-view Hand-Object Interaction Synthesis
• Title（参考訳）: ハーモホイ:多視点ハンドオブジェクトインタラクション合成のための高調波外観と3次元運動
• Abstract要約: HarmoHOIは、同期マルチビューHOIビデオとグローバルな3Dポイントトラックを生成する統合拡散フレームワークである。 実験結果から,HarmoHOIは視覚的品質,運動可視性,多視点幾何整合性において,最先端の性能を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 45.70773023679708
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hand-Object Interaction (HOI) synthesis is a cornerstone for animation production and embodied AI. Despite the strong priors of video foundation models, multi-view consistent HOI synthesis remains challenging due to complex hand motions and occlusions. We present HarmoHOI, a unified diffusion framework that jointly and harmoniously generates synchronized multi-view HOI videos and globally aligned 3D point tracks. Our core insight is that robust multi-view consistency fundamentally requires globally aligned 3D geometry and motion. To this end, we propose a Mixture of Multi-view Diffusion Transformer that co-models RGB videos and 3D point tracks. By representing point tracks as pseudo-videos, we align 3D geometric signals with the 2D latent space of foundation models, thereby minimizing the domain gap and easing adaptation of priors. To further ensure geometry consistency, we introduce Global Motion Aligning Diffusion, which refines coarse point tracks into metric-scale, globally aligned 3D trajectories. HarmoHOI enables on-the-fly co-evolution of 2D appearance and 3D motion during denoising. To overcome the scarcity of multi-view HOI data, we employ a hybrid data curriculum learning strategy that successfully transfers generic priors from single-view data to synchronized multi-view generation. Experimental results show that HarmoHOI achieves state-of-the-art performance in visual quality, motion plausibility, and multi-view geometric consistency. Project page available at https://droliven.github.io/HarmoHOI_project.
• Abstract（参考訳）: ハンドオブジェクトインタラクション(HOI)合成は、アニメーション制作とAIの具体化のための基盤となる。 ビデオ基礎モデルの強い先行性にもかかわらず、複雑な手の動きや閉塞のため、多視点一貫したHOI合成は難しいままである。 我々は,同期多視点HOIビデオとグローバルな3Dポイントトラックを共同で,調和的に生成する統合拡散フレームワークであるHarmoHOIを提案する。 私たちの中核的な洞察は、堅牢なマルチビュー整合性は、基本的にグローバルに整合した3次元幾何学と運動を必要とすることである。 そこで本稿では,RGBビデオと3Dポイントトラックを併用したMixture of Multi-view Diffusion Transformerを提案する。 ポイントトラックを擬似ビデオとして表現することにより、3次元幾何学信号を基礎モデルの2次元潜在空間と整列し、ドメインギャップを最小化し、先行の適応を緩和する。 さらに幾何整合性を確保するために,粗い点線を距離スケールでグローバルに整列した3次元軌道に洗練するGlobal Motion Aligning Diffusionを導入する。 HarmoHOIは、2Dの外観と3Dモーションのオンザフライでの共同進化を可能にする。 マルチビューHOIデータの不足を克服するために、単一ビューデータから同期マルチビュー生成へのジェネリック事前転送を成功させるハイブリッドデータカリキュラム学習戦略を用いる。 実験結果から,HarmoHOIは視覚的品質,運動可視性,多視点幾何整合性において,最先端の性能を達成できることが示唆された。 プロジェクトページはhttps://droliven.github.io/HarmoHOI_project.comで公開されている。

関連論文リスト

• LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
  世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。 既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。 LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
  論文  参考訳（メタデータ） (2026-08-06T07:47:01Z)
• Inclusive Interactive Collisions for Multi-View Consistent Compositional 3D Generation [25.750694245523217]
  我々は,多視点一貫した合成3Dアセットを合理的な相互作用で生成する新しい最適化手法であるI2C-3Dを提案する。 具体的には、合理的な相互作用領域に自然に現れるガウス的プリミティブを導くための包括的対話的衝突戦略を提案する。 マルチビュー整合性を高めるため,マルチビュー適応スコア蒸留サンプリング法を考案し,事前学習拡散モデルを用いて,複数ビュー整合性前とレイアウト前を抽出する。
  論文  参考訳（メタデータ） (2026-06-23T06:48:22Z)
• RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
  RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。 相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
  論文  参考訳（メタデータ） (2026-02-24T08:41:40Z)
• UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
  統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。 本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
  論文  参考訳（メタデータ） (2025-12-03T16:03:18Z)
• SyncMV4D: Synchronized Multi-view Joint Diffusion of Appearance and Motion for Hand-Object Interaction Synthesis [47.61773799705708]
  同期多視点HOIビデオと4Dモーションを共同生成する最初のモデルであるSyncMV4Dを紹介する。 本手法は,視覚リアリズム,運動可視性,多視点整合性において,最先端の代替手段よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2025-11-24T17:14:19Z)
• SViMo: Synchronized Diffusion for Video and Motion Generation in Hand-object Interaction Scenarios [48.09735396455107]
  ハンドオブジェクトインタラクション(HOI)生成には、大きな応用可能性がある。 現在の3D HOIモーション生成アプローチは、事前に定義された3Dオブジェクトモデルとラボでキャプチャされたモーションデータに大きく依存している。 本稿では,同期拡散プロセス内での視覚的事前制約と動的制約を組み合わせることで,HOIビデオと動きを同時に生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-03T05:04:29Z)
• MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D diffusion [57.90404618420159]
  本稿では3次元モーション生成手法であるマルチビューアンセストラルサンプリング(MAS)を紹介する。 MASは、同じ3Dモーションの異なるビューを表す複数の2Dモーションシーケンスを同時に認知することで機能する。 プロバスケットボールの操り方を描いたビデオから得られた2DポーズデータをMASで実証する。
  論文  参考訳（メタデータ） (2023-10-23T09:05:18Z)
• Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis [48.33860286920389]
  3D認識画像合成は、3D表現を学習することにより、複数のビューからオブジェクトの画像を生成することを目的としている。 既存のアプローチには幾何学的制約がないため、通常はマルチビュー一貫性のある画像を生成することができない。 幾何制約付き高品質な3次元画像合成のためのマルチビュー一貫性ジェネレータネットワーク(MVCGAN)を提案する。
  論文  参考訳（メタデータ） (2022-04-13T11:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。