論文の概要: AVTR-1: Open Stack for Real-Time Interactive Avatars
- arxiv url: http://arxiv.org/abs/2609.22913v1
- Date: Sat, 19 Sep 2026 09:45:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.58558
- Title: AVTR-1: Open Stack for Real-Time Interactive Avatars
- Title（参考訳）: AVTR-1:リアルタイムインタラクティブアバターのためのオープンスタック
- Abstract要約: トーキングヘッドモデルとダイアドモデルでは,リアルタイムな推論が可能になったが,高速な動き生成だけでは対話的な会話は得られない。
本稿では,リアルタイム対話型アバター対話のためのオープンスタックであるAVTR-1を紹介する。
提案手法は,ユーザの発話遅延に対する寄与を解析的に導出し,その結果を2つの商用音声エージェントで検証する。
- 参考スコア（独自算出の注目度）: 0.3811184252495268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Talking-head and dyadic models now achieve real-time inference, yet fast motion generation alone does not produce an interactive conversation. A live system must synchronize the model's output with speech from an external voice agent, schedule video frames for playback, and handle interruptions. We introduce AVTR-1, an open stack for real-time interactive avatar conversations, built around a compact 153M-parameter autoregressive flow-matching motion generator conditioned on both participants' audio. We adapt its audio encoder for streaming through self-distillation. The stack turns the model's chunk-based generation into a continuous, synchronized audio-video stream driven by an external voice agent, and we analytically derive its contribution to the user-facing latencies and validate the resulting bounds with two commercial voice agents. Further experiments demonstrate that AVTR-1 leads the compared dyadic systems on all reported visual-quality metrics and most conventional listening-motion metrics while remaining competitive in lip synchronization. Its inference runtime operates in real time on data-center and consumer GPUs. However, conventional listening metrics do not establish whether the paired speaker's speech contributes to generated motion. We therefore introduce the Reference-Based Directed Granger Gain (R-DGG), which measures the additional predictive information carried by speaker speech after accounting for listener history and speaker motion. R-DGG finds statistically supported predictive dependence for recorded listeners and all evaluated dyadic systems, but not for talking-head generators without paired audio or mismatched speaker-listener pairs. We release the model weights, renderer, and serving backend under component-specific licenses.
- Abstract（参考訳）: トーキングヘッドモデルとダイアドモデルでは,リアルタイムな推論が可能になったが,高速な動き生成だけでは対話的な会話は得られない。
ライブシステムは、外部音声エージェントからの音声とモデルの出力を同期させ、再生のためのビデオフレームをスケジュールし、割り込みを処理する必要がある。
本稿では,AVTR-1という,リアルタイム対話型アバター対話のためのオープンスタックについて紹介する。
我々はそのオーディオエンコーダを自己蒸留によるストリーミングに適用する。
スタックは、モデルのチャンクベース生成を外部音声エージェントによって駆動される連続的同期オーディオビデオストリームに変換し、そのユーザの待ち時間に対する寄与を解析的に導出し、2つの商用音声エージェントとのバウンダリの検証を行う。
さらなる実験により、AVTR-1は、リップ同期において競争力を維持しながら、報告された全ての視覚品質指標と最も一般的なリスニングモーション指標において、比較されたディヤド系を導くことが示されている。
推論ランタイムは、データセンタとコンシューマGPU上で、リアルタイムで実行される。
しかし、従来の聴取基準は、ペア話者の発話が生成された動きに寄与するかどうかを定めていない。
そこで,R-DGG(Reference-Based Directed Granger Gain)を導入した。
R-DGGは、録音されたリスナーとすべての評価されたダイアディックシステムに対する統計的に支持された予測依存を見出すが、ペア音声や不一致話者リストナーペアが存在しないトーキングヘッドジェネレータには当てはまらない。
モデルウェイト、レンダラー、バックエンドをコンポーネント固有のライセンスでリリースしています。
関連論文リスト
- Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming [24.73791931334844]
Vorch-Streamerは、リアルタイム・ロングフォームのText-to-Audio-Video(T2AV)ストリーミングを可能にするポストトレーニングフレームワークである。
12～21秒にまたがる80Kアバタークリップの合成コーパスを構築し、まず教師強制と拡散強制を混合した因果生成器を訓練する。
コンテキスト境界と4段階のデノベーションにより、Vorch-Streamerはテキストから27.12 FPSで音声とビデオを共同生成し、24-FPSのリアルタイム再生速度を超える。
論文 参考訳（メタデータ） (2026-08-06T07:00:37Z) - Audio Interaction Model [102.4354125819644]
今日のLALM(Large Audio Language Models)はオフラインであり、ストリーミングオーディオモデルはASRや音声チャットのような単一のタスクのみを処理する。
それは、常時オンの知覚・認知応答ループを通じて、音、環境、指示をリアルタイムで聞き、リアルタイムで反応するモデルである。
我々は,この仕組みをオーディオインタラクションモデルとして定式化し,オフラインタスクの実行を継続する統合ストリーミングモデルであるAudio-Interactionで実現した。
論文 参考訳（メタデータ） (2026-06-03T17:26:11Z) - Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models [3.5946669116828134]
完全な音声対話モデルは、ターンベースシステムよりも人間の会話に近い声を同時に話すことができる。
本研究では,人間のコミュニケーションにおいて,ニューラルカップリングを用いた内部相互作用を協調するモデルを提案する。
雑音のない条件下では強い表現同期が得られ、ラグはゼロに近づき、ノイズは劣化する。
論文 参考訳（メタデータ） (2026-05-19T18:11:03Z) - UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。
音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。
本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
論文 参考訳（メタデータ） (2026-04-21T08:24:55Z) - READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation [55.58089937219475]
本稿では,最初のリアルタイム拡散変換器を用いた音声ヘッド生成フレームワークREADを提案する。
提案手法はまず,VAEを用いて高度に圧縮されたビデオ潜時空間を学習し,音声生成におけるトークン数を大幅に削減する。
また,READは,実行時間を大幅に短縮した競合する音声ヘッドビデオを生成することにより,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-08-05T13:57:03Z) - Streaming Audio-Visual Speech Recognition with Alignment Regularization [69.30185151873707]
本稿では,ハイブリッド接続型時間分類(CTC)/アテンションニューラルネットワークアーキテクチャに基づくストリーミングAV-ASRシステムを提案する。
提案したAV-ASRモデルは、オフラインおよびオンライン設定でLip Reading Sentences 3データセット上で、WERの2.0%と2.6%を達成する。
論文 参考訳（メタデータ） (2022-11-03T20:20:47Z) - Rethinking Audio-visual Synchronization for Active Speaker Detection [62.95962896690992]
アクティブ話者検出(ASD)に関する既存の研究は、アクティブ話者の定義に一致しない。
本稿では,アテンションモジュールに位置符号化を適用し,教師付きASDモデルに適用し,同期キューを活用することを提案する。
実験結果から,既存モデルの制限に対処して,非同期音声を発話しないものとして検出できることが示唆された。
論文 参考訳（メタデータ） (2022-06-21T14:19:06Z) - Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。
本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。
提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
論文 参考訳（メタデータ） (2022-03-30T21:42:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。