論文の概要: SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation

• arxiv url: http://arxiv.org/abs/2607.05994v1
• Date: Tue, 07 Jul 2026 08:29:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.455807
• Title: SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation
• Title（参考訳）: SparseCtrl-HOI:ヒューマンオブジェクトインタラクションビデオ生成のためのスパース時間制御
• Abstract要約: ヒューマンオブジェクトインタラクション生成は、多様なオブジェクトを操作する現実的な人間を合成することを目的としている。 この問題に対する既存のアプローチは、密集した時間的ガイダンスに依存している。 ビデオ生成のための新しいスパース時間制御フレームワークであるSparseCtrl-HOIを紹介する。
• 参考スコア（独自算出の注目度）: 29.683204938136758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-Object Interaction (HOI) video generation aims to synthesize realistic videos of humans manipulating diverse objects, serving as a promising avenue for AI-driven live streaming e-commerce. A primary obstacle in this domain lies in the complexity of modeling fine-grained physical dynamics and the intricate spatial-temporal coordination between human hands and objects. Existing approaches to this problem typically rely on dense temporal guidance, e.g., frame-wise hand-object pose sequences, to strictly control the interaction process. However, such dense guidance incurs high annotation costs and affects motion synthesis diversity. To overcome these limitations, we introduce SparseCtrl-HOI, a novel sparse temporal control framework for HOI video generation. It requires only a few keyframes that capture interaction states at designated timestamps. Specifically, we employ a Time-Controlled Rotary Positional Embedding (TiRoPE) mechanism to temporally anchor these keyframes while preserving their spatial integrity. Subsequently, to govern the dynamics across intermediate frames, we propose a Motion Prior Injection Module that leverages Multimodal Large Language Models (MLLMs) to extract high-level motion priors. This empowers the model to hallucinate logically and physically plausible transitions. Furthermore, we build SparseHOI-5K, a high-quality and richly annotated dataset for HOI video generation with sparse temporal control. Comprehensive evaluations confirm that our method substantially reduces annotation overhead while synthesizing superior live-streaming e-commerce videos. Both our code and dataset are publicly available at https://mpi-lab.github.io/SparseCtrl-HOI.
• Abstract（参考訳）: ヒューマンオブジェクトインタラクション(HOI)ビデオ生成は、さまざまなオブジェクトを操作する人間の現実的なビデオを合成することを目的としており、AI駆動のライブストリーミングeコマースのための有望な道として機能する。 この領域の主な障害は、微細な物理力学をモデル化する複雑さと、人間の手と物体の間の複雑な空間的調整である。 この問題に対する既存のアプローチは、インタラクションプロセスを厳格に制御するために、例えばフレームワイドの手オブジェクトのポーズシーケンスのような、高密度な時間的ガイダンスに依存するのが一般的である。 しかし、このような高密度なガイダンスは高いアノテーションコストをもたらし、動作合成の多様性に影響を与える。 これらの制限を克服するために,HOIビデオ生成のための新しいスパース時間制御フレームワークであるSparseCtrl-HOIを紹介する。 指定されたタイムスタンプでのインタラクション状態をキャプチャするキーフレームはごくわずかである。 具体的には、TyRoPE(Time-Controlled Rotary Positional Embedding)機構を用いて、これらのキーフレームを時間的にアンカーし、空間的整合性を保つ。 その後,中間フレーム間のダイナミクスを制御するために,マルチモーダル大言語モデル (MLLM) を利用した動き優先型インジェクションモジュールを提案する。 これにより、モデルが論理的および物理的に妥当な遷移を幻覚させる。 さらに,SparseHOI-5Kは,低時間制御によるHOIビデオ生成のための高品質でリッチな注釈付きデータセットである。 本手法は,より優れたライブストリーミングeコマース動画を合成しながら,アノテーションのオーバーヘッドを大幅に低減することを確認した。 私たちのコードとデータセットは、https://mpi-lab.github.io/SparseCtrl-HOIで公開されています。

関連論文リスト

• ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration [49.72976665549397]
  人環境ビデオ生成のためのパラメータ効率のよいフレームワークであるONE-SHOTを提案する。 我々の重要な洞察は、生成過程を不整合信号に分解することであり、特に、人間を環境条件から切り離す標準的な空間注入機構を導入する。 提案手法は最先端の手法よりも優れており,ビデオ合成における優れた構造制御と創造的多様性を提供する。
  論文  参考訳（メタデータ） (2026-04-01T15:52:00Z)
• Controllable Complex Human Motion Video Generation via Text-to-Skeleton Cascades [32.12940211414945]
  両制約に対処する2段階のカスケードフレームワークを提案する。 自動回帰テキスト-スケルトンモデルでは、自然言語記述から2次元ポーズシーケンスを生成する。 ポーズ条件付きビデオ拡散モデルは、参照画像と生成されたスケルトンシーケンスからビデオを合成する。
  論文  参考訳（メタデータ） (2026-03-09T07:04:29Z)
• GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection [54.879037588415656]
  GenHOIは、事前訓練されたビデオ生成モデルに対する軽量な拡張である。 参照オブジェクト情報を時間的にバランスよく空間的に選択的に注入する。 GenHOIは最先端のHOI再現やオールインワンのビデオ編集方法よりも優れています。
  論文  参考訳（メタデータ） (2026-03-06T09:01:09Z)
• VHOI: Controllable Video Generation of Human-Object Interactions from Sparse Trajectories via Motion Densification [65.15340059997273]
  VHOIは、ビデオにおける現実的な人間とオブジェクトの相互作用を作成するためのフレームワークである。 そこで本研究では,人体と物体の運動だけでなく,身体部分特異的な動特性も識別するために,色エンコーディングを用いた新しいHOI対応動作表現を提案する。 実験は、制御可能なHOIビデオ生成における最先端の結果を示す。
  論文  参考訳（メタデータ） (2025-12-10T13:40:24Z)
• VideoMolmo: Spatio-Temporal Grounding Meets Pointing [66.19964563104385]
  VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。 新しい仮面融合はSAM2を双方向の点伝播に用いている。 The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
  論文  参考訳（メタデータ） (2025-06-05T17:59:29Z)
• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)
• LEO: Generative Latent Image Animator for Human Video Synthesis [38.99490968487773]
  本稿では,人間の映像合成のための新しい枠組みを提案し,合成時間的コヒーレンシーを重視した。 私たちのキーとなるアイデアは、動きを外見から本質的に分離する生成過程におけるフローマップのシーケンスとして表現することです。 フローベース画像アニメーターとラテントモーション拡散モデル(LMDM)を用いてこれを実装した。
  論文  参考訳（メタデータ） (2023-05-06T09:29:12Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。