論文の概要: Past as State, Present as Attention: Persistent-State Blockwise Flow Matching for Long-Horizon Co-Speech Motion Generation
- arxiv url: http://arxiv.org/abs/2610.32373v1
- Date: Fri, 23 Oct 2026 09:01:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.442319
- Title: Past as State, Present as Attention: Persistent-State Blockwise Flow Matching for Long-Horizon Co-Speech Motion Generation
- Title(参考訳): 状態としての過去, 現在, 注意: 長軸共声運動生成のための永続的ブロックワイドフローマッチング
- Abstract要約: 時間的コヒーレンスと一貫したスタイルを必要とするため、コ音声の動作生成は長い地平線上で難しいままである。
本研究では,過去の歴史をブロック間永続状態で要約し,ブロック内双方向自己注意で現在のセグメントをモデル化するPASPAを提案する。
PASPAは最先端のFGD性能を実現し、長いシーケンス生成で動作スタイルを保ちます。
- 参考スコア(独自算出の注目度): 8.777565115320687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Co-speech motion generation remains challenging over long horizons due to the need for temporal coherence and consistent style. Existing methods typically generate long motions segment by segment, either conditioning on a short seed of recent frames, which gradually drifts, or retaining ever-longer explicit histories, which are costly to maintain and hard to learn from limited data. We trace these limitations to a key asymmetry between past and present: past motion carries slowly varying style that should be compactly summarized, whereas the current segment exhibits fast-changing local dynamics that require fine-grained modeling. This asymmetry motivates a simple Past-As-State, Present-as-Attention principle for long-horizon co-speech motion generation. Following this principle, we propose PASPA, which summarizes past history with an inter-block persistent state and models the current segment with intra-block bidirectional self-attention. We instantiate PASPA within a blockwise flow matching framework, with multi-block supervision for effective training over variable histories, prefill-decode state caching for efficient rollout, and hybrid classifier-free guidance for enhanced history and speech conditioning. Extensive public-benchmark experiments show that PASPA achieves state-of-the-art FGD performance and preserves motion style across long-sequence generation.
- Abstract(参考訳): 時間的コヒーレンスと一貫したスタイルを必要とするため、コ音声の動作生成は長い地平線上で難しいままである。
既存の手法では、セグメントごとに長い動きのセグメントを生成し、最近のフレームの短いシードを条件付け、徐々にドリフトするか、より長い明示的な履歴を保持し、限られたデータから学ぶのに費用がかかる。
過去の動きは、コンパクトに要約されるべきゆっくりと変化するスタイルを持ち、現在のセグメントは、きめ細かいモデリングを必要とする高速に変化する局所力学を示す。
この非対称性は、長い水平のコ音声運動生成のための単純な過去状態、現在状態の原則を動機付けている。
この原則に従い、過去の歴史をブロック間永続状態で要約し、ブロック内双方向自己注意で現在のセグメントをモデル化するPASPAを提案する。
我々はPASPAをブロックワイズフローマッチングフレームワーク内でインスタンス化し、可変履歴に対する効果的なトレーニングのためのマルチブロック監視、効率的なロールアウトのためのプリフィル・デコード・ステートキャッシュ、履歴と音声条件の強化のためのハイブリッド分類器フリーガイダンスを備える。
広汎な公開ベンチマーク実験により、PASPAは最先端のFGD性能を達成し、長周期生成における動作スタイルを保っていることが示された。
関連論文リスト
- ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation [26.24879628570298]
本稿では,クロスセグメント依存を保存したセグメントレベルのアノテーションを付加した,エピソードな長期動作データセットELMAを提案する。
ELMAは、高品質で連続的な30秒のビデオクリップをWildのビデオから抽出し、長距離状態モデリングに必要なエピソードな物語をキャプチャする。
ELMAは,グローバルな物理リアリズムとセマンティックアライメントの両方において,大幅な改善を可能にすることを示す。
論文 参考訳(メタデータ) (2026-10-09T13:05:54Z) - VidParse: Online Parsing of Egocentric Procedures Like a Pro [44.77721538280088]
本稿では,アクティビティ理解をグラフ制約付き推論問題として扱うオンラインフレームワークであるVidParseを紹介する。
厳密な視覚セグメントを厳密な手続き的制約に固定することにより、長距離状態遷移を保ち、複雑な多段階解析の精度を最大10倍に向上させる。
論文 参考訳(メタデータ) (2026-08-27T18:00:02Z) - Eulerian Motion Guidance: Robust Image Animation via Bidirectional Geometric Consistency [74.90075313101933]
本稿では、より局所的な監視設計により、同じ光フロープリミティブを再考する。
我々は隣接フレームのユーレアン運動場を用いて生成を誘導し、そこでは運動信号が常に短い時間ホップを記述する。
隣接するフレーム生成に共通するドリフトアーティファクトを軽減するために,双方向幾何整合機構を導入する。
論文 参考訳(メタデータ) (2026-05-07T13:53:31Z) - Gait Recognition with Temporal Kolmogorov-Arnold Networks [24.11167872887211]
歩行認識は、個人をその特徴的な歩行パターンから識別する生体計測モダリティである。
これらの課題に対処するために、歩行認識のための時間的コルモゴロフ・アルノルドネットワーク(TKAN)を導入する。
提案モデルでは,固定エッジ重みを学習可能な1次元関数に置き換え,2レベルメモリ機構を組み込んだ。
論文 参考訳(メタデータ) (2026-04-11T02:28:26Z) - Can Video Diffusion Models Predict Past Frames? Bidirectional Cycle Consistency for Reversible Interpolation [25.677744104220853]
ビデオフレームは、特定の動作セマンティクスに固執しながら、所定のエンドポイント間で現実的な中間フレームを合成することを目的としている。
本稿では,前向きと後向きの軌跡の対称性を強制する新しい双方向フレームワークを提案する。
本手法は,37フレームと73フレームの両方のタスクにおいて,画像品質,運動の滑らかさ,動的制御における最先端性能を実現する。
論文 参考訳(メタデータ) (2026-04-02T06:58:46Z) - Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation [73.84423888025171]
オートレグレッシブ(AR)ビデオ拡散は,近年,長大なビデオ生成において有望なパラダイムとして浮上している。
時間的劣化が進行しているため, 生成から微小スケールの地平線への延長は依然として困難であることを示す。
本稿では,AR拡散のための時間記憶機構であるRelax Forcingを紹介する。
論文 参考訳(メタデータ) (2026-03-22T18:59:24Z) - Non-Markovian Long-Horizon Robot Manipulation via Keyframe Chaining [56.62125584296097]
Keyframe-Chaining VLAは、キー履歴フレームを抽出し、長い水平依存関係をモデル化するフレームワークである。
本研究では,現在の実行フェーズに対する時間的関連性に基づいて,動的に履歴フレームを検索する進捗対応機構を設計する。
タスク成功率を測定するために,ManiSkillシミュレータ上に構築された4つの非マルコフ操作タスクスイートを紹介する。
論文 参考訳(メタデータ) (2026-03-02T05:26:29Z) - HINT: Hierarchical Interaction Modeling for Autoregressive Multi-Human Motion Generation [55.73037290387896]
HINTは,階層的インタラクティクスモデリングを応用した多関節モーション生成のための最初の自動回帰フレームワークである。
第一に、HINTは正準化潜在空間内でのゆがみのある動きの表現を活用し、局所的な動きのセマンティクスを対人インタラクションから切り離す。
第二に、HINTは効率的なオンライン生成のためのスライドウインドウ戦略を採用し、局所的なウィンドウ内およびグローバルなクロスウインドウ条件を集約し、過去の人類の歴史、個人間の依存関係を捉え、テキストガイダンスと整合する。
論文 参考訳(メタデータ) (2026-01-28T08:47:23Z) - Characterizing Motion Encoding in Video Diffusion Timesteps [50.13907856401258]
本研究では,映像拡散時間ステップにおける動きのエンコードについて,外観編集と動作保存のトレードオフによって検討する。
動作優位の早期体制と,その後に出現優位の体制を同定し,時間空間における動作優位の境界を導出する。
論文 参考訳(メタデータ) (2025-12-18T21:20:54Z) - EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。
これは、パッチの計算上の利点を維持しながら、時間構造を保存する。
長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
論文 参考訳(メタデータ) (2025-09-30T12:09:56Z) - Towards Consistent Long-Term Pose Generation [0.0]
最小限の文脈から連続座標空間のポーズを直接生成する新しいワンステージアーキテクチャを提案する。
私たちの重要なイノベーションは、中間表現やトークンベースの生成の必要性を排除することです。
提案手法は,特に長期発生シナリオにおいて,既存の量子化法と自己回帰法を著しく上回っている。
論文 参考訳(メタデータ) (2025-07-24T12:57:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。