論文の概要: InteractGesture: Progressive Chunk Guidance for Continuous Streaming Co-Speech Gesture Control

• arxiv url: http://arxiv.org/abs/2608.25734v1
• Date: Wed, 26 Aug 2026 12:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.826732
• Title: InteractGesture: Progressive Chunk Guidance for Continuous Streaming Co-Speech Gesture Control
• Title（参考訳）: Interact Gesture: 連続ストリーミング音声ジェスチャー制御のためのプログレッシブ・チャンク誘導
• Abstract要約: 共音声ジェスチャー生成は、話者音声から現実的な全体動作に向けて大きな進歩を遂げている。 既存のモデルは個々の関節のきめ細かい空間制御性を欠いている。 本稿では,空間的に制御可能なジェスチャー生成のためのモデルに依存しない推論時間手法であるemphInteractGestureを紹介する。
• 参考スコア（独自算出の注目度）: 29.31946223027131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Co-speech gesture generation has made significant progress toward realistic full-body motion from speaker audio, yet existing models lack fine-grained spatial controllability of individual joints. To address this, we introduce \emph{InteractGesture}, a model-agnostic, inference-time method for spatially controllable gesture generation. \emph{InteractGesture} guides target latent estimates of a diffusion sampler through a differentiable RVQ-VAE decoder, backpropagating spatial control gradients to adjust motion latents during sampling. A primary challenge in streaming co-speech generation is chunk-wise dependency: standard sequential inference freezes prior chunks, preventing spatial constraints in future chunks from adjusting preceding trajectories and causing boundary inconsistencies. To overcome this limitation, we propose \emph{Progressive Chunk Guidance}, a chunk-window strategy that maintains an active set of editable chunk latents with staggered delays, enabling spatial constraints to propagate gradients backward across chunk boundaries during streaming generation. Experiments on the BEAT2 dataset show that \emph{InteractGesture} improves multi-joint spatial control while preserving overall gesture quality. Furthermore, our approach supports diverse applications, including sparse joint positioning, dense joint trajectory control, and directional pointing. Our project page is available at https://exitudio.github.io/interactgesture-page .
• Abstract（参考訳）: 共音声ジェスチャ生成は、スピーカーオーディオから現実的な全体動作に向けて大きな進歩を遂げてきたが、既存のモデルは、個々の関節のきめ細かい空間制御性に欠けていた。 これを解決するために,空間的に制御可能なジェスチャー生成のためのモデルに依存しない推論時間法である \emph{InteractGesture} を導入する。 \emph{InteractGesture}は、可変RVQ-VAEデコーダを通じて拡散サンプリングの潜在推定を誘導し、空間制御勾配をバックプロパゲートしてサンプリング中の移動潜時を調節する。 標準的なシーケンシャル推論は、以前のチャンクを凍結し、将来のチャンクにおける空間的制約が、前の軌跡を調整したり、境界の不整合を引き起こすのを防ぐ。 この制限を克服するために,ストリーム生成中のチャンク境界の後方に勾配を伝播する空間的制約を許容し,遅延を遅延した編集可能なチャンク潜水器のアクティブなセットを維持するチャンクウィンドウ戦略である 'emph{Progressive Chunk Guidance} を提案する。 BEAT2データセットの実験によると、 \emph{InteractGesture} は、全体的なジェスチャー品質を維持しながら、マルチジョイント空間制御を改善している。 さらに,本手法は,スパース関節位置決め,高密度関節軌道制御,指向性ポインティングなどの多種多様な応用をサポートする。 プロジェクトページはhttps://exitudio.github.io/interactgesture-page.comで公開されている。

関連論文リスト

• Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding [80.10744910189997]
  マルチモーダルな言語モデルは通常、トラジェクトリを自動回帰的にシリアライズする。 時間ブロックにグラウンドを分解する生成式であるParallel Tube Decoding (PTD)を導入する。 VidSTGでは、PTDチューブはコンプリートを79倍に減らし、空間デコーディングを92倍に向上させる。
  論文  参考訳（メタデータ） (2026-08-28T11:05:30Z)
• ScanFocus: A Coarse-to-Fine Framework for Spatio-Temporal Video Grounding [23.883675818190188]
  S-Temporal Video Groundingは、自然言語表現によって記述されたビデオストリームから、特定のオブジェクトの視覚的軌跡を検索することを目的としている。 ほとんどの高度な手法は、グローバルコンテキストモデリングと正確な境界ローカライゼーションのバランスをとるのに苦労している。 本稿では,STVGタスクをグローバル時空間スキャンと局所境界焦点に分解する,粗大きめのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-15T03:50:22Z)
• Go-with-the-Track: Video Compositing and Motion Control with Point Tracking [50.22693773328114]
  フィルム製造は正確な動き制御と参照画像合成を要求する。 複数の参照画像と参照アンコレートされたポイントトラックを共同で条件付けすることで、両方の機能を統一するGo-with-the-Trackを提案する。 Go-with-the-Trackは単一のモデルで優れた動きと参照制御を実現する。
  論文  参考訳（メタデータ） (2026-06-18T19:40:03Z)
• FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching [68.01498128172214]
  本稿では,アーキテクチャに依存しない,追加のトレーニングを必要としない長大なビデオ生成のための,斬新でシンプルな推論時間アプローチを提案する。 提案手法では,隣接するウィンドウからのクリーンサンプルをemphTweedieマッチングでブレンドし,テキストbfmanifoldの制約と重複領域間の時間的一貫性を強制する。 本手法は, 時間的一貫性と視覚的品質において, トレーニング不要, 自己回帰ベースラインを両立させながら, ネイティブウィンドウ長よりも数倍長大のビデオを生成する。
  論文  参考訳（メタデータ） (2026-05-20T08:55:37Z)
• LiveGesture Streamable Co-Speech Gesture Generation Model [15.008891901028333]
  LiveGestureは、音声駆動のフルボディジェスチャー生成フレームワークである。 ルックアヘッドはゼロで動作し、任意のシーケンス長をサポートする。 一貫性があり、多様性があり、ビート同期のフルボディジェスチャーをリアルタイムで生成する。
  論文  参考訳（メタデータ） (2026-04-13T02:54:07Z)
• Bridging Semantic and Kinematic Conditions with Diffusion-based Discrete Motion Tokenizer [55.9892973179428]
  MoTokは、セマンティックな抽象化をきめ細かな再構築から切り離す離散モーショントークンである。 また,HumanML3Dでは,トークンの6分の1しか使用せず,MaskControl上での制御性と忠実度を大幅に向上する。
  論文  参考訳（メタデータ） (2026-03-19T17:59:51Z)
• TaCo: Capturing Spatio-Temporal Semantic Consistency in Remote Sensing Change Detection [54.22717266034045]
  Ta-Coは時間的意味遷移のための一貫したセマンティックネットワークである。 我々は,Ta-Coがリモートセンシング検出タスクにおいて一貫したSOTA性能を実現することを示す。 この設計は推論中に余分な計算オーバーヘッドを伴わずにかなりの利得を得ることができる。
  論文  参考訳（メタデータ） (2025-11-25T13:44:29Z)
• Heeding the Inner Voice: Aligning ControlNet Training via Intermediate Features Feedback [1.7749342709605145]
  ControlNetは補助的なコンディショニングモジュールを導入することでこの問題に対処する。 ControlNet++は、最後のdenoisingステップにのみ適用されるサイクル一貫性損失を通じて、アライメントをさらに洗練する。 本研究では,すべての拡散ステップに空間的整合性を持たせるためのトレーニング戦略であるInnerControlを提案する。
  論文  参考訳（メタデータ） (2025-07-03T05:25:53Z)
• ReactDance: Hierarchical Representation for High-Fidelity and Coherent Long-Form Reactive Dance Generation [21.732021702335345]
  我々は,新しい階層型潜在空間で動作する拡散フレームワークであるtextbfReactDanceを紹介する。 ReactDanceは、動作品質、長期コヒーレンス、サンプリング効率において、最先端の手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-05-08T18:42:38Z)
• Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling [81.37449968164692]
  ビデオ全体にわたってデノイングパスを同期する新しい推論フレームワークであるシンクロナイズド結合サンプリング(SynCoS)を提案する。 提案手法は, シームレスな局所遷移を保証し, グローバルコヒーレンスを強制する2つの相補的なサンプリング戦略を組み合わせる。 大規模な実験により、SynCoSは、よりスムーズな遷移とより優れた長距離コヒーレンスを実現し、マルチイベント長ビデオ生成を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-03-11T16:43:45Z)
• GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling [32.47567372398872]
  GestureLSM は空間時間モデルを用いた共音声ジェスチャ生成のためのフローマッチングに基づくアプローチである。 BEAT2の最先端性能を実現し、既存の手法と比較して推論時間を著しく短縮する。
  論文  参考訳（メタデータ） (2025-01-31T05:34:59Z)
• OED: Towards One-stage End-to-End Dynamic Scene Graph Generation [18.374354844446962]
  ダイナミックシーングラフ生成(DSGG)は、ビデオの空間時間領域内の視覚的関係を特定することに焦点を当てている。 本稿では,DSGGパイプラインを合理化する一段階のエンドツーエンドフレームワークOEDを提案する。 このフレームワークは、設定された予測問題としてタスクを再構成し、ペアワイズ機能を活用してシーングラフ内の各対象物対を表現する。
  論文  参考訳（メタデータ） (2024-05-27T08:18:41Z)
• DragNUWA: Fine-grained Control in Video Generation by Integrating Text, Image, and Trajectory [126.4597063554213]
  DragNUWAは、オープンドメイン拡散に基づくビデオ生成モデルである。 意味的、空間的、時間的視点からビデオ内容のきめ細かい制御を提供する。 本実験はDragNUWAの有効性を検証し,ビデオ生成における微粒化制御における優れた性能を示した。
  論文  参考訳（メタデータ） (2023-08-16T01:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。