論文の概要: HERO: Human Reaction Generation from Videos

• arxiv url: http://arxiv.org/abs/2503.08270v1
• Date: Tue, 11 Mar 2025 10:39:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:43:22.580748
• Title: HERO: Human Reaction Generation from Videos
• Title（参考訳）: HERO:ビデオから人間の反応生成
• Authors: Chengjun Yu, Wei Zhai, Yuhang Yang, Yang Cao, Zheng-Jun Zha,
• Abstract要約: HEROは、videOsからのHuman rEaction geneRationのフレームワークである。 HEROはビデオのグローバルレベルとフレームレベルの局所表現の両方を考慮し、インタラクションの意図を抽出する。 局所的な視覚表現は、ビデオに固有の動的特性を最大限に活用するために、モデルに連続的に注入される。
• 参考スコア（独自算出の注目度）: 54.602947113980655
• License:
• Abstract: Human reaction generation represents a significant research domain for interactive AI, as humans constantly interact with their surroundings. Previous works focus mainly on synthesizing the reactive motion given a human motion sequence. This paradigm limits interaction categories to human-human interactions and ignores emotions that may influence reaction generation. In this work, we propose to generate 3D human reactions from RGB videos, which involves a wider range of interaction categories and naturally provides information about expressions that may reflect the subject's emotions. To cope with this task, we present HERO, a simple yet powerful framework for Human rEaction geneRation from videOs. HERO considers both global and frame-level local representations of the video to extract the interaction intention, and then uses the extracted interaction intention to guide the synthesis of the reaction. Besides, local visual representations are continuously injected into the model to maximize the exploitation of the dynamic properties inherent in videos. Furthermore, the ViMo dataset containing paired Video-Motion data is collected to support the task. In addition to human-human interactions, these video-motion pairs also cover animal-human interactions and scene-human interactions. Extensive experiments demonstrate the superiority of our methodology. The code and dataset will be publicly available at https://jackyu6.github.io/HERO.
• Abstract（参考訳）: 人間の反応生成は、人間が周囲と常に対話するため、対話型AIにとって重要な研究領域である。 これまでの研究は主に、人間の動作シーケンスが与えられた反応運動の合成に重点を置いていた。 このパラダイムは、相互作用のカテゴリを人間と人間の相互作用に限定し、反応生成に影響を与える可能性のある感情を無視します。 本研究では,RGBビデオから3次元の人間反応を生成することを提案する。 この課題に対処するため,videOs からのヒト rEaction geneRation のための簡易かつ強力なフレームワーク HERO を提案する。 HEROは、ビデオのグローバルレベルとフレームレベルの両方の局所表現を考慮し、相互作用の意図を抽出し、抽出された相互作用の意図を使って反応の合成を導く。 さらに、ローカルな視覚表現を連続的にモデルに注入することで、ビデオに固有の動的特性の活用を最大化する。 さらに、ペア化されたVideo-Motionデータを含むViMoデータセットを収集し、タスクをサポートする。 これらのビデオモーションペアは人間と人間の相互作用に加えて、動物と人間の相互作用やシーンと人間の相互作用もカバーしている。 大規模な実験は、我々の方法論の優越性を実証する。 コードとデータセットはhttps://jackyu6.github.io/HEROで公開される。

関連論文リスト

• ZeroHSI: Zero-Shot 4D Human-Scene Interaction by Video Generation [17.438484695828276]
  我々は,映像生成とニューラルヒューマンレンダリングを統合することで,ゼロショット4次元人間とシーンのインタラクション合成を可能にする新しいアプローチであるZeroHSIを提案する。 我々の重要な洞察は、最先端のビデオ生成モデルで学んだリッチな動きの先行きを利用して、膨大な量の人間の動きと相互作用を訓練し、異なるレンダリングを使って人間とシーンのインタラクションを再構築することである。 室内および屋外の様々な場面の様々な種類の編集されたデータセットに対して,ZeroHSIの評価を行い,多種多様かつ文脈的に適切なヒューマン・シーンのインタラクションを生成できることを実証した。
  論文  参考訳（メタデータ） (2024-12-24T18:55:38Z)
• ReGenNet: Towards Human Action-Reaction Synthesis [87.57721371471536]
  我々は、人間と人間の相互作用の非対称、動的、同期、および詳細な性質を分析する。 本研究では,人間の行動に条件付けされた人間の反応を生成するための,最初のマルチセットヒト行動反応ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-03-18T15:33:06Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• Compositional 3D Human-Object Neural Animation [93.38239238988719]
  人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。 本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。 我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
  論文  参考訳（メタデータ） (2023-04-27T10:04:56Z)
• Interaction Replica: Tracking Human-Object Interaction and Scene Changes From Human Motion [48.982957332374866]
  人間による変化をモデル化することは、デジタル双生児を作るのに不可欠である。 本手法は,シーン中の人間の視覚的位置決めとIMUデータからの人間とシーンの相互作用に関する接触に基づく推論を組み合わせたものである。 私たちのコード、データ、モデルは、プロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/.comで公開されています。
  論文  参考訳（メタデータ） (2022-05-05T17:58:06Z)
• GAN-based Reactive Motion Synthesis with Class-aware Discriminators for Human-human Interaction [14.023527193608144]
  本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。 合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
  論文  参考訳（メタデータ） (2021-10-01T13:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。