論文の概要: InterAnimate: Taming Region-aware Diffusion Model for Realistic Human Interaction Animation

• arxiv url: http://arxiv.org/abs/2504.10905v1
• Date: Tue, 15 Apr 2025 06:32:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:06:48.617440
• Title: InterAnimate: Taming Region-aware Diffusion Model for Realistic Human Interaction Animation
• Title（参考訳）: InterAnimate: リアルなヒューマンインタラクションアニメーションのための領域認識拡散モデル
• Authors: Yukang Lin, Yan Hong, Zunnan Xu, Xindi Li, Chao Xu, Chuanbiao Song, Ronghui Li, Haoxing Chen, Jun Lan, Huijia Zhu, Weiqiang Wang, Jianfu Zhang, Xiu Li,
• Abstract要約: 本稿では,現実的な顔のインタラクションをアニメーションするための新しい動作パラダイムを提案する。 本手法は, 解剖学的・時間的接触力学と生体力学的に妥当な変形効果を同時に学習する。 結果は、InterAnimateが非常にリアルなアニメーションを生成し、新しいベンチマークを設定していることを示している。
• 参考スコア（独自算出の注目度）: 47.103725372531784
• License:
• Abstract: Recent video generation research has focused heavily on isolated actions, leaving interactive motions-such as hand-face interactions-largely unexamined. These interactions are essential for emerging biometric authentication systems, which rely on interactive motion-based anti-spoofing approaches. From a security perspective, there is a growing need for large-scale, high-quality interactive videos to train and strengthen authentication models. In this work, we introduce a novel paradigm for animating realistic hand-face interactions. Our approach simultaneously learns spatio-temporal contact dynamics and biomechanically plausible deformation effects, enabling natural interactions where hand movements induce anatomically accurate facial deformations while maintaining collision-free contact. To facilitate this research, we present InterHF, a large-scale hand-face interaction dataset featuring 18 interaction patterns and 90,000 annotated videos. Additionally, we propose InterAnimate, a region-aware diffusion model designed specifically for interaction animation. InterAnimate leverages learnable spatial and temporal latents to effectively capture dynamic interaction priors and integrates a region-aware interaction mechanism that injects these priors into the denoising process. To the best of our knowledge, this work represents the first large-scale effort to systematically study human hand-face interactions. Qualitative and quantitative results show InterAnimate produces highly realistic animations, setting a new benchmark. Code and data will be made public to advance research.
• Abstract（参考訳）: 最近のビデオ生成の研究は孤立した行動に重点を置いている。 これらの相互作用は、インタラクティブなモーションベースのアンチスプーフィングアプローチに依存する生体認証システムに不可欠である。 セキュリティの観点からは、認証モデルをトレーニングし強化するための大規模で高品質なインタラクティブビデオの必要性が高まっている。 本研究では,現実的な顔のインタラクションをアニメーションするための新しいパラダイムを提案する。 本手法は時空間接触のダイナミクスと生体力学的に妥当な変形効果を同時に学習し,衝突のない接触を維持しながら手の動きが解剖学的に正確な顔の変形を誘発する自然な相互作用を可能にする。 本研究では18のインタラクションパターンと90,000のアノテーション付きビデオを備えた大規模ハンドフェイスインタラクションデータセットであるInterHFを提案する。 さらに,対話アニメーションに特化して設計された領域認識拡散モデルであるInterAnimateを提案する。 InterAnimateは学習可能な空間的および時間的遅延を利用して動的相互作用先行を効果的にキャプチャし、これらの先行を認知プロセスに注入する領域認識相互作用機構を統合する。 私たちの知る限りでは、この研究は人間の顔と顔のインタラクションを体系的に研究する最初の大規模取り組みである。 定性的かつ定量的な結果は、InterAnimateが非常にリアルなアニメーションを生成し、新しいベンチマークを設定していることを示している。 コードとデータは研究を進めるために公開されます。

関連論文リスト

• InterDance:Reactive 3D Dance Generation with Realistic Duet Interactions [67.37790144477503]
  動きの質、データスケール、さまざまなダンスジャンルを大幅に向上させる大規模なデュエットダンスデータセットであるInterDanceを提案する。 本稿では,対話のリアリズムを段階的に最適化するためのインタラクション改善指導戦略を備えた拡散型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-22T11:53:51Z)
• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)
• TextIM: Part-aware Interactive Motion Synthesis from Text [25.91739105467082]
  TextIMは、TEXT駆動のヒューマンインタラクティブモーションを合成するための新しいフレームワークである。 我々のアプローチは、人間の脳として機能する大きな言語モデルを利用して、相互作用する人間の身体部分を特定する。 トレーニングと評価のために,HUMANML3Dからインタラクティブな動きを慎重に選択し,再ラベルし,特殊なデータセットを開発した。
  論文  参考訳（メタデータ） (2024-08-06T17:08:05Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• InterDiff: Generating 3D Human-Object Interactions with Physics-Informed Diffusion [29.25063155767897]
  本稿では,3次元物体相互作用(HOI)の予測に向けた新しい課題について述べる。 我々のタスクは、様々な形状の動的物体をモデリングし、全身の動きを捉え、物理的に有効な相互作用を確実にする必要があるため、はるかに困難である。 複数の人-物間相互作用データセットを用いた実験は,本手法の有効性を実証し,現実的で,鮮明で,かつ,極めて長期にわたる3D HOI予測を生成できることを示した。
  論文  参考訳（メタデータ） (2023-08-31T17:59:08Z)
• NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis [21.650091018774972]
  我々は、特定の物体に付随する神経相互作用場を作成し、人間のポーズを入力として与えられた有効な相互作用多様体までの距離を出力する。 この相互作用場は、対象条件付きヒトの運動拡散モデルのサンプリングを導く。 いくつかの物体で座ったり持ち上げたりするための現実的な動きを合成し、動きの質や動作完了の成功の観点から、代替のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-07-14T17:59:38Z)
• InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
  動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。 我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。 本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
  論文  参考訳（メタデータ） (2023-04-12T08:12:29Z)
• Interaction Transformer for Human Reaction Generation [61.22481606720487]
  本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。 我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-07-04T19:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。