論文の概要: FlowAct-R2: Beyond Talking Avatar via Streaming Multimodal References and Proactive Agent Planning
- arxiv url: http://arxiv.org/abs/2609.35728v1
- Date: Mon, 28 Sep 2026 17:50:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 19:19:47.009191
- Title: FlowAct-R2: Beyond Talking Avatar via Streaming Multimodal References and Proactive Agent Planning
- Title（参考訳）: FlowAct-R2:マルチモーダル参照とプロアクティブエージェント計画による会話アバターを超えて
- Abstract要約: FlowAct-R2は、連続的なマルチモーダル制御とプロアクティブなエージェント計画を組み合わせた、インタラクティブなヒューマノイドビデオ生成のためのフレームワークである。
FlowAct-R2は、リアルタイム720p世代と時間スケールストリーミングをサポートし、エンターテイメントストリーミング、ライブショッピング、ビデオチャット、ライブブログをサポートする。
- 参考スコア（独自算出の注目度）: 14.855868282772965
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present FlowAct-R2, a framework for interactive humanoid video generation that combines continuous multimodal control with proactive agent planning. Our method consists of two coupled components. First, a Streaming Multimodal Reference Diffusion Transformer adapts the pretrained Seedance 2.0 Mini reference-to-video backbone to accept rolling action prompts, streaming audio, and dynamically updated image, audio, and video references. Video-driven rotary positional embeddings align reference chunks with the generation timeline, while reference-plus-image conditioning and partially noised historical motion frames preserve appearance and avoid accumulated drift. Second, a Proactive Interaction Agent separates pre-online planning from online scheduling and response: it prepares a persona, a long-horizon agenda, and reusable multimodal skills in advance, then autonomously schedules behaviors, responds to audience input, and handles interruptions during a live session. FlowAct-R2 supports real-time 720p generation and hour-scale streaming across entertainment streaming, live shopping, video chatting, and live vlogging.
- Abstract（参考訳）: 本稿では,連続的マルチモーダル制御とプロアクティブエージェント計画を組み合わせたインタラクティブなヒューマノイドビデオ生成フレームワークであるFlowAct-R2を提案する。
本手法は2つの結合成分からなる。
まず、Streaming Multimodal Reference Diffusion Transformerは、事前訓練されたSeedance 2.0 Mini参照からビデオへのバックボーンを適用して、ローリングアクションプロンプト、ストリーミングオーディオ、動的に更新された画像、オーディオ、ビデオ参照を受け入れる。
ビデオ駆動の回転位置埋め込みは、参照チャンクと生成タイムラインを一致させる一方、参照+画像条件と部分的にノイズのある歴史運動フレームは外観を保ち、蓄積されたドリフトを避ける。
第2に、Proactive Interaction Agentは、オンラインのスケジューリングとレスポンスから、事前の計画と、オンラインのスケジューリングとレスポンスを分離する: ペルソナ、長期のアジェンダ、再利用可能なマルチモーダルスキルを前もって準備し、その後、自律的に振る舞いをスケジュールし、オーディエンス入力に応答し、ライブセッション中に中断を処理する。
FlowAct-R2は、リアルタイム720p世代と時間スケールストリーミングをサポートし、エンターテイメントストリーミング、ライブショッピング、ビデオチャット、ライブブログをサポートする。
関連論文リスト
- TimeInteract: Towards Real-Time Interactive Intelligence for Streaming Time Series [63.51670715618216]
時系列インタラクション(Time-Series Interaction)は、到着する時系列の観測とユーザ意図を認識し、いつ沈黙するか、応答するかを自律的に決定し、応答生成中に新しい観測処理を継続するモデルである。
StreamTSI-34Kは大規模なストリーミングTSインタラクションデータセットで,34,588エピソードと77,505応答を合成時系列と実時間時系列に1回,複数回設定して構築する。
論文 参考訳（メタデータ） (2026-09-22T13:29:03Z) - LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time [26.186924581106087]
本稿では,リアルタイムストリーミングと安定な長周期生成を10億スケールで組み合わせたアニメーションシステムを提案する。
LiveAnimateは、最初の30秒から最終分まで、知覚品質とアイデンティティをほぼ一定に維持する。
これらの結果は、インタラクティブなフルボディアニメーションのための品質、レイテンシ、持続時間において、新たな操作ポイントを確立する。
論文 参考訳（メタデータ） (2026-08-12T07:35:52Z) - Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration [61.98029663481308]
Soap2SoapはDualBridgeメカニズムを通じて長期の視覚的一貫性を強制するマルチエージェントフレームワークである。
クローズドループ検証エージェントは、識別、安定性、アライメントを監査し、選択的再生を誘導する。
論文 参考訳（メタデータ） (2026-05-17T12:38:21Z) - AURA: Always-On Understanding and Real-Time Assistance via Video Streams [37.80002196035961]
AURA(Always-On Understanding and Real-Time Assistance)は、エンドツーエンドのストリーミングビジュアルインタラクションフレームワークである。
これにより、統合されたVideoLLMがビデオストリームを継続的に処理し、リアルタイムの質問応答とプロアクティブ応答の両方をサポートする。
AURAはストリーミングベンチマークで最先端のパフォーマンスを実現し、2つの80Gアクセラレータ上で2FPSで動作するASRとTSを備えたリアルタイムデモシステムをサポートする。
論文 参考訳（メタデータ） (2026-04-05T16:53:46Z) - STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding [77.20037111885226]
現実のデプロイメントでは、ストリーミングの認識とプロアクティブなインタラクションがますます必要になります。
本研究では、構造化シーケンスモデリング問題として、ストリーミングビデオのアクティブなアクティベーションを再考する。
本稿では,アクティベーションインタフェースに軽量なマスク付き拡散モジュールを用いて,アクティベーション信号を共同で予測し,段階的に洗練するSTRIDEを提案する。
論文 参考訳（メタデータ） (2026-03-29T09:23:45Z) - FlowAct-R1: Towards Interactive Humanoid Video Generation [37.04996721172613]
FlowAct-R1は、リアルタイムインタラクティブなヒューマノイドビデオ生成用に特別に設計されたフレームワークである。
我々のフレームワークは、480pの解像度で25fpsの安定を実現し、F(Time-to-first-frame)は1.5秒程度しか持たない。
論文 参考訳（メタデータ） (2026-01-15T06:16:22Z) - LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation [35.01134463094784]
汎用多目的対話型AIシステムを構築するためには,拡散によるリアルタイムビデオ生成が不可欠である。
既存の蒸留法では、モデルが自己回帰し、サンプリング工程を減らしてこれを緩和することができる。
本論文は,テキスト,画像,音声を含むマルチモーダル環境下でのリアルタイム対話型ビデオ拡散を目標とし,そのギャップを埋める。
論文 参考訳（メタデータ） (2025-12-29T16:17:36Z) - MotionStream: Real-Time Video Generation with Interactive Motion Controls [60.403597895657505]
単一GPU上で最大29FPSのストリーミング生成が可能なサブ秒レイテンシを実現するMotionStreamを提案する。
提案手法は,グローバルなテキストプロンプトとローカルなモーションガイダンスに準拠する高品質なビデオを生成するが,リアルタイムでは推論を行わないモーションコントロールによるテキスト・ツー・ビデオモデルの拡張から始まる。
我々のモデルでは、動きの追従と映像の質を2桁高速化し、無限長のストリーミングを可能にする。
論文 参考訳（メタデータ） (2025-11-03T06:37:53Z) - Ready-to-React: Online Reaction Policy for Two-Character Interaction Generation [82.73098356401725]
本稿では,過去観測された動きに基づいて次のキャラクターのポーズを生成するためのオンライン反応ポリシーであるReady-to-Reactを提案する。
各キャラクターは独自の反応ポリシーを「脳」として持っており、実際の人間のようにストリーミングで対話することができる。
われわれのアプローチはスパース信号で制御でき、VRや他のオンラインインタラクティブ環境にも適している。
論文 参考訳（メタデータ） (2025-02-27T18:40:30Z) - Streaming Video Understanding and Multi-round Interaction with Memory-enhanced Knowledge [57.01131456894516]
現在のビデオ理解モデルは、長いビデオシーケンスの処理、マルチターン対話のサポート、現実の動的シナリオへの適応に苦労している。
本稿では,ストリーミングビデオ推論と対話インタラクションのためのトレーニング不要フレームワークStreamChatを提案する。
我々のフレームワークは並列システムスケジューリング戦略を取り入れており、処理速度を向上し、レイテンシを低減し、現実世界のアプリケーションで堅牢な性能を保証する。
論文 参考訳（メタデータ） (2025-01-23T08:33:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。