論文の概要: SocialDirector: Training-Free Social Interaction Control for Multi-Person Video Generation

• arxiv url: http://arxiv.org/abs/2605.10079v1
• Date: Mon, 11 May 2026 07:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 02:24:05.547498
• Title: SocialDirector: Training-Free Social Interaction Control for Multi-Person Video Generation
• Title（参考訳）: ソーシャルディレクタ:マルチパーソンビデオ生成のためのトレーニング不要なソーシャルインタラクション制御
• Authors: Liangyang Ouyang, Ruicong Liu, Caixin Kang, Yifei Huang, Yoichi Sato,
• Abstract要約: ビデオ生成は急速に進歩し、テキストや画像のプロンプトからビデオを生成する。 映画制作とソーシャルロボティクスは、リッチなソーシャルインタラクションを備えた多人数ビデオの要求をますます高めている。 既存のモデルでは、誰がどのアクションを実行し、いつ発生し、誰が指示されたかなど、インタラクションを明示的に制御することができない。 クロスアテンションマップによる生成モデルを強化する,トレーニング不要なインタラクションコントローラであるSocialDirectorを提案する。
• 参考スコア（独自算出の注目度）: 25.88676013839077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video generation has advanced rapidly, producing photorealistic videos from text or image prompts. Meanwhile, film production and social robotics increasingly demand multi-person videos with rich social interactions, including conversations, gestures, and coordinated actions. However, existing models offer no explicit control over interactions, such as who performs which action, when it occurs, and toward whom it is directed. This often results in wrong person performing unintended actions (actor-action mismatch), disordered social dynamics, and wrong action targets. To address these challenges, we present SocialDirector, a training-free interaction controller that enhances the generation model by modulating cross-attention maps. SocialDirector contains two modules: Social Actor Masking and Directional Reweighting. Social Actor Masking constrains each person's visual tokens to attend only to their own textual descriptions via a spatiotemporal mask, avoiding actor-action mismatch and disordered social dynamics. Directional Reweighting amplifies attention to directional words (e.g., "leftward", "right"), leading each action towards its intended target. To evaluate generated social interactions, we annotate existing datasets with interaction descriptions and build a fully automated evaluation pipeline powered by open-source VLMs. Experiments on different video generation models show that SocialDirector significantly improves interaction fidelity and approaches the upper bound set by real videos.
• Abstract（参考訳）: ビデオ生成は急速に進歩し、テキストや画像プロンプトからフォトリアリスティックなビデオを生成する。 一方、映画制作とソーシャルロボティクスは、会話、ジェスチャー、調整されたアクションを含む、リッチなソーシャルインタラクションを備えたマルチパーソンビデオを要求する傾向にある。 しかしながら、既存のモデルでは、誰がどのアクションを実行し、いつ発生し、誰が指示されるかなど、インタラクションを明示的に制御することができない。 これはしばしば、意図しない行動(アクター-アクションミスマッチ)、混乱した社会的ダイナミクス、間違ったアクションターゲットを実行する間違った人をもたらす。 これらの課題に対処するため,ソーシャルディレクタ(SocialDirector)を提案する。 SocialDirectorにはSocial Actor MaskingとDirectional Reweightingの2つのモジュールが含まれている。 ソーシャル・アクター・マスキング(Social Actor Masking)は、アクター・アクションのミスマッチや混乱した社会的ダイナミクスを避けるために、各人の視覚トークンを、時空間のマスクを通じて自身のテキスト記述にのみ出席することを制限している。 方向の再重み付けは、方向の単語(例えば、"左"、"右")に注意を向け、それぞれのアクションを意図した標的へと導く。 生成した社会的相互作用を評価するために,既存のデータセットに対話記述を付加し,オープンソースのVLMを利用した完全自動評価パイプラインを構築する。 異なるビデオ生成モデルによる実験により、SocialDirectorは相互作用の忠実度を大幅に改善し、実際のビデオによる上限セットにアプローチすることが示された。

関連論文リスト

• ActionParty: Multi-Subject Action Binding in Generative Video Games [117.52562594944679]
  ActionPartyは、ゲーム生成のための制御可能な多目的世界モデルである。 46の多様な環境において最大7人のプレイヤーを同時に制御できる最初のビデオワールドモデルを実証する。
  論文  参考訳（メタデータ） (2026-04-02T17:59:58Z)
• Developing Neural Network-Based Gaze Control Systems for Social Robots [0.0]
  本研究では,様々な社会的状況下での人間の視線行動に対する経験的動作時間パターンを開発することを目的とする。 ディープラーニングモデル、特にLong Short-Term Memory(LSTM)とTransformerは、視線パターンの分析と予測に使用された。
  論文  参考訳（メタデータ） (2026-02-11T15:30:39Z)
• InterAct: A Large-Scale Dataset of Dynamic, Expressive and Interactive Activities between Two People in Daily Scenarios [40.42003202491803]
  2人の活動を同時にモデル化し、客観的、動的、意味論的に一貫した相互作用を目標にすることを提案する。 我々は、241のモーションシーケンスからなるInterActと呼ばれる新しいマルチモーダルデータセットをキャプチャする。 InterActには、個人の多様で複雑な動きと、これまでほとんど見られなかった興味深い、比較的長期にわたる相互作用パターンが含まれている。
  論文  参考訳（メタデータ） (2025-09-06T15:36:47Z)
• Love in Action: Gamifying Public Video Cameras for Fostering Social Relationships in Real World [15.049706359599666]
  公共空間に設置したビデオカメラを利用したボディーランゲージベースのソーシャルゲーム「Love in Action」(LIA)を作成する。 27人の参加者による2週間のフィールドスタディは、彼らの社会的友情を著しく改善したことを示している。 公共空間におけるソーシャル化のための新しいコミュニケーション媒体として,パブリックビデオカメラの可能性を明らかにするために,ユーザ体験を調査した。
  論文  参考訳（メタデータ） (2024-10-31T02:38:40Z)
• Social-MAE: Social Masked Autoencoder for Multi-person Motion Representation Learning [16.85316898267404]
  マルチ対人動作データのためのトランスフォーマーベースのマスク付きオートエンコーダフレームワークであるSocial-MAEを紹介する。 このフレームワークは、マスク付きモデリングを使用して、エンコーダを事前訓練し、マスク付きヒト関節軌道を再構築する。 それは、多人数のポーズ予測、社会的グループ化、社会的行動理解など、様々な高度な社会的タスクに関する最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-04-08T14:54:54Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)
• Face-to-Face Contrastive Learning for Social Intelligence Question-Answering [55.90243361923828]
  マルチモーダル手法は多くのタスクで技術の状態を設定するが、複雑な対面会話のダイナミクスをモデル化することは困難である。 社会的相互作用をモデル化するグラフニューラルネットワークF2F-CLを提案する。 課題であるSocial-IQデータセットを実験的に評価し、最先端の結果を示す。
  論文  参考訳（メタデータ） (2022-07-29T20:39:44Z)
• SSAGCN: Social Soft Attention Graph Convolution Network for Pedestrian Trajectory Prediction [59.064925464991056]
  ソーシャルソフトアテンショングラフ畳み込みネットワーク(SSAGCN)という新しい予測モデルを提案する。 SSAGCNは、歩行者間の社会的相互作用と歩行者と環境間のシーンインタラクションを同時に扱うことを目的としている。 公開データセットの実験は、SAGCNの有効性を証明し、最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-12-05T01:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。