論文の概要: MuSteerNet: Human Reaction Generation from Videos via Observation-Reaction Mutual Steering

• arxiv url: http://arxiv.org/abs/2603.20187v1
• Date: Fri, 20 Mar 2026 17:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.283402
• Title: MuSteerNet: Human Reaction Generation from Videos via Observation-Reaction Mutual Steering
• Title（参考訳）: MuSteerNet:観察-反応相互ステアリングによるビデオからの人間の反応生成
• Authors: Yuan Zhou, Yongzhi Li, Yanqi Dai, Xingyu Zhu, Yi Tan, Qingshan Xu, Beier Zhu, Richang Hong, Hanwang Zhang,
• Abstract要約: ビデオ駆動型ヒト反応生成は、観察された映像シーケンスに直接反応する3D人間の動きを合成することを目的としている。 既存の方法は、ビデオ入力を効果的に活用して人間の反応合成を操るのに失敗することが多い。 我々は,観察と反応の相互操りを通じて映像から人間の3次元反応を生成するフレームワーク MuSteerNet を提案する。
• 参考スコア（独自算出の注目度）: 81.50722520596652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video-driven human reaction generation aims to synthesize 3D human motions that directly react to observed video sequences, which is crucial for building human-like interactive AI systems. However, existing methods often fail to effectively leverage video inputs to steer human reaction synthesis, resulting in reaction motions that are mismatched with the content of video sequences. We reveal that this limitation arises from a severe relational distortion between visual observations and reaction types. In light of this, we propose MuSteerNet, a simple yet effective framework that generates 3D human reactions from videos via observation-reaction mutual steering. Specifically, we first propose a Prototype Feedback Steering mechanism to mitigate relational distortion by refining visual observations with a gated delta-rectification modulator and a relational margin constraint, guided by prototypical vectors learned from human reactions. We then introduce Dual-Coupled Reaction Refinement that fully leverages rectified visual cues to further steer the refinement of generated reaction motions, thereby effectively improving reaction quality and enabling MuSteerNet to achieve competitive performance. Extensive experiments and ablation studies validate the effectiveness of our method. Code coming soon: https://github.com/zhouyuan888888/MuSteerNet.
• Abstract（参考訳）: ビデオ駆動型人間の反応生成は、観察されたビデオシーケンスに直接反応する3D人間の動きを合成することを目的としている。 しかし、既存の手法では、ビデオ入力を効果的に活用して人間の反応合成を操ることができず、その結果、ビデオシーケンスの内容と一致しない反応運動が生じる。 この制限は、視覚的な観察と反応のタイプの間の強い関係歪みから生じる。 そこで我々は,観察と反応の相互操りを通じて映像から人間の3次元反応を生成する,シンプルで効果的なフレームワーク MuSteerNet を提案する。 具体的には、ゲートデルタ補正変調器とリレーショナルマージン制約を用いた視覚的観察を人間の反応から学習した原型ベクトルでガイドすることで、リレーショナル歪みを軽減するためのプロトタイプフィードバックステアリング機構を提案する。 次に、補正された視覚的手がかりをフル活用し、生成した反応運動の洗練をさらに促進し、反応品質を効果的に改善し、MuSteerNetが競争性能を達成するために、Dual-Coupled Reaction Refinementを導入する。 大規模な実験とアブレーション研究により,本手法の有効性が検証された。 近くコードが登場する。https://github.com/shuyuan888888/MuSteerNet。

関連論文リスト

• MoReact: Generating Reactive Motion from Textual Descriptions [57.642436102978245]
  MoReactは拡散に基づく手法で、グローバルな軌跡と局所的な動きを連続的に引き離すように設計されている。 2人の動作データセットから適応したデータを用いて,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-09-28T14:31:41Z)
• ARFlow: Human Action-Reaction Flow Matching with Physical Guidance [36.052383171690614]
  Action-Reaction Flow Matching (ARFlow)は、直接アクションから反応へのマッピングを確立する新しいフレームワークである。 本手法では,身体の浸透を効果的に防止する,フローマッチング(FM)に特化して設計された物理誘導機構を提案する。
  論文  参考訳（メタデータ） (2025-03-21T09:41:24Z)
• HERO: Human Reaction Generation from Videos [54.602947113980655]
  HEROは、videOsからのHuman rEaction geneRationのフレームワークである。 HEROはビデオのグローバルレベルとフレームレベルの局所表現の両方を考慮し、インタラクションの意図を抽出する。 局所的な視覚表現は、ビデオに固有の動的特性を最大限に活用するために、モデルに連続的に注入される。
  論文  参考訳（メタデータ） (2025-03-11T10:39:32Z)
• ReGenNet: Towards Human Action-Reaction Synthesis [87.57721371471536]
  我々は、人間と人間の相互作用の非対称、動的、同期、および詳細な性質を分析する。 本研究では,人間の行動に条件付けされた人間の反応を生成するための,最初のマルチセットヒト行動反応ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-03-18T15:33:06Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• LARNet: Latent Action Representation for Human Action Synthesis [3.3454373538792552]
  我々は、人間のアクションビデオを生成するための新しいエンドツーエンドアプローチであるLARNetを提案する。 我々は、推論中に駆動ビデオが不要になるのを避けるために、潜時空間でのアクションダイナミクスを学習する。 提案手法を実世界の4つの行動データセットで評価する。
  論文  参考訳（メタデータ） (2021-10-21T05:04:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。