論文の概要: InterSing: Explicit Interaction Dynamics for 3D Duet Singing Animation and Beyond
- arxiv url: http://arxiv.org/abs/2609.04903v1
- Date: Fri, 04 Sep 2026 09:02:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.988571
- Title: InterSing: Explicit Interaction Dynamics for 3D Duet Singing Animation and Beyond
- Title（参考訳）: InterSing: 3Dデュエットアニメーションのための明示的なインタラクションダイナミクス
- Abstract要約: InterSingは、デュエット歌唱パフォーマンスのためのリアルな3Dヘッドアニメーションを生成するためのフレームワークである。
InterSingは、既存の方法よりもコーディネーションと音楽アライメントの強い、現実的で表現力のある歌唱ヘッドアニメーションを生成する。
- 参考スコア（独自算出の注目度）: 56.764269093059504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present InterSing, a framework for generating realistic 3D head animations for duet singing performances. Unlike solo singing, duet performance requires each singer to balance individual expressiveness with intermittent interaction at musically salient moments, such as phrase boundaries, synchronized rhythms, and call-and-response passages. Because these interactions are sparse and rhythm-dependent, existing audio-driven animation methods and conversational interaction models do not adequately capture their structure. Our key insight is that duet coordination can be represented as a time-varying signal that reflects how strongly performers engage with one another throughout a song. Based on this observation, we introduce interaction logits, an interpretable latent representation that models the degree of cross-performer engagement at each time step. We learn these logits using weak supervision and use them to condition an interaction-aware diffusion model jointly driven by audio features and interaction dynamics. This formulation enables unified multi-mode generation, spanning independent motion, coordinated behavior, and smooth transitions between them. Experiments show that InterSing generates realistic and expressive singing head animations with stronger coordination and musical alignment than existing methods, while preserving each performer's characteristic motion style. We further demonstrate that the same formulation generalizes to multi-singer performances and provides intuitive control over when and how performers engage.
- Abstract（参考訳）: デュエット歌唱演奏のためのリアルな3Dヘッドアニメーションを生成するためのフレームワークであるInterSingを提案する。
独唱とは異なり、デュエットのパフォーマンスでは、各歌手は、フレーズ境界、同期リズム、コール・アンド・レスポンス・パスといった、音楽的に健全な瞬間における断続的な相互作用と、個々の表現力のバランスをとる必要がある。
これらの相互作用はスパースでリズムに依存しているため、既存の音声駆動型アニメーション法や会話型インタラクションモデルは、その構造を適切に捉えていない。
私たちの重要な洞察は、デュエットコーディネートは、演奏者が歌を通してどのように互いに深く関わり合うかを反映した時間変化信号として表現できるということです。
この観測に基づいて,各段階におけるクロスパフォーマンスエンゲージメントの度合いをモデル化した,解釈可能な潜在表現である対話ロジットを導入する。
我々は、弱い監督力を用いてこれらのロジットを学習し、音声特徴と相互作用ダイナミクスによって協調的に駆動される相互作用認識拡散モデルの条件付けに使用する。
この定式化により、独立運動、協調行動、それらの間の滑らかな遷移にまたがる、統一されたマルチモード生成が可能となる。
実験により、InterSingは既存の手法よりも強いコーディネーションと音楽アライメントでリアルで表現力のある歌唱ヘッドアニメーションを生成し、各パフォーマーの特徴的な動作スタイルを保っていることが示された。
さらに、同じ定式化がマルチシンガー演奏に一般化し、パフォーマーがいつ、どのように関与するかを直感的に制御できることを示す。
関連論文リスト
- CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation [18.841894940869157]
Valence--Arousal representations for fine-fine emotion control をベースとした音声駆動型3D顔アニメーションフレームワークCETalkを提案する。
CETalkは,リップシンク精度と感情表現性の両方において,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-08-15T08:22:50Z) - ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。
既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。
本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
論文 参考訳（メタデータ） (2026-06-11T13:00:58Z) - SalsaAgent: A multimodal embodied language model for interactive dance generation [0.7952582509792973]
本稿では、人間のリーダーに反応して、表現力のあるフルボディサルサダンスの動きを生成する言語モデルであるSalsaAgentを紹介する。
我々は、対話を非言語的な動きトークンパスとして定式化し、大きな言語モデルの語彙を拡張した。
コントリビューションには、フルボディおよびモーションリレーションのための新しいトークン、LLMファインチューニング、および2段階のトークン・ツー・ディフュージョンパイプラインが含まれる。
論文 参考訳（メタデータ） (2026-05-28T01:08:27Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - InterAct: A Large-Scale Dataset of Dynamic, Expressive and Interactive Activities between Two People in Daily Scenarios [40.42003202491803]
2人の活動を同時にモデル化し、客観的、動的、意味論的に一貫した相互作用を目標にすることを提案する。
我々は、241のモーションシーケンスからなるInterActと呼ばれる新しいマルチモーダルデータセットをキャプチャする。
InterActには、個人の多様で複雑な動きと、これまでほとんど見られなかった興味深い、比較的長期にわたる相互作用パターンが含まれている。
論文 参考訳（メタデータ） (2025-09-06T15:36:47Z) - Think2Sing: Orchestrating Structured Motion Subtitles for Singing-Driven 3D Head Animation [69.50178144839275]
歌唱はより豊かな感情的なニュアンス、動的な韻律、歌詞に基づく意味論を含む。
既存の音声駆動アプローチは、しばしば過度に単純化され、感情的に平坦で、意味的に一貫性のない結果をもたらす。
Think2Singは、歌詞と音響の両方に調和したセマンティックコヒーレントで時間的に一貫した3Dヘッドアニメーションを生成する。
論文 参考訳（メタデータ） (2025-09-02T12:59:27Z) - InterDance:Reactive 3D Dance Generation with Realistic Duet Interactions [67.37790144477503]
動きの質、データスケール、さまざまなダンスジャンルを大幅に向上させる大規模なデュエットダンスデータセットであるInterDanceを提案する。
本稿では,対話のリアリズムを段階的に最適化するためのインタラクション改善指導戦略を備えた拡散型フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-22T11:53:51Z) - Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。
私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。
実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
論文 参考訳（メタデータ） (2024-03-14T03:21:33Z) - ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。
ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。
また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
論文 参考訳（メタデータ） (2023-11-28T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。