論文の概要: JAVIS: Joint Audio-Visual Interaction and Streaming for Real-Time Conversational Agents

• arxiv url: http://arxiv.org/abs/2610.22499v1
• Date: Thu, 15 Oct 2026 18:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.614841
• Title: JAVIS: Joint Audio-Visual Interaction and Streaming for Real-Time Conversational Agents
• Title（参考訳）: JAVIS:リアルタイム対話エージェントのための共同音声・ビジュアルインタラクションとストリーミング
• Abstract要約: JAVISは、リアルタイム音声視覚対話エージェントのためのエンドツーエンドのストリーミングフレームワークである。 本稿では,334時間の合成コーパスであるJAVIS-Synについて述べる。
• 参考スコア（独自算出の注目度）: 43.144672049614094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human communication is inherently multimodal, conveying intent not only through linguistic and vocal cues but also through visual signals. However, existing conversational systems have mainly focused on text or speech, leaving out the visual feedback that is essential for natural interaction. In this paper, we propose JAVIS, an end-to-end streaming framework for real-time audio-visual conversational agents. Our key idea is to let the voice and the face speak from a single representation. On top of a shared LLM, a Joint Refined Head produces a unified audio-visual representation, which is fed into dedicated streaming branches for speech and face generation. This end-to-end design avoids intermediate bottlenecks, enabling real-time generation while keeping speech and face tightly synchronized. In addition, we present JAVIS-Syn, a 334-hour synthetic corpus designed to address the lack of expressive audio-visual dialogue data, covering emotionally rich multi-turn conversations and assistant-style exchanges. Experiments show that JAVIS achieves approximately 200$\times$ lower initial latency than a strong baseline, while outperforming baselines in lip synchronization and facial expression appropriateness.
• Abstract（参考訳）: 人間のコミュニケーションは本質的にマルチモーダルであり、言語や声道だけでなく視覚信号を通して意図を伝える。 しかし、既存の会話システムは、主にテキストや音声に焦点を当てており、自然な対話に不可欠な視覚的フィードバックを排除している。 本稿では,リアルタイム音声対話エージェントのためのエンドツーエンドストリーミングフレームワークであるJAVISを提案する。 私たちのキーとなるアイデアは、声と顔が単一の表現から話すようにすることです。 共有LLMの上に、ジョイント精製ヘッドは、音声と顔の生成のための専用のストリーミングブランチに供給される統合されたオーディオと視覚の表現を生成する。 このエンド・ツー・エンドの設計は中間ボトルネックを回避し、音声と顔を強く同期させながらリアルタイム生成を可能にする。 さらに,JAVIS-Synは334時間の合成コーパスで,感情に富んだマルチターン会話やアシスタントスタイルの交換を網羅する,表現力のある音声・視覚対話データの欠如に対処する。 実験の結果、JAVISは強いベースラインよりも200$\times$低い初期レイテンシを実現する一方で、唇の同期や表情の適切性ではベースラインよりも優れていた。

関連論文リスト

• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• TAVID: Text-Driven Audio-Visual Interactive Dialogue Generation [72.46711449668814]
  本稿では,対話型顔と会話型音声の両方を同期的に生成する統合フレームワークであるTAVIDを紹介する。 本システムの評価は, 顔のリアリズム, 頭部の応答性, ダイアディック相互作用, 音声品質の4つの側面にまたがる。
  論文  参考訳（メタデータ） (2025-12-23T12:04:23Z)
• MAGIC-Talk: Motion-aware Audio-Driven Talking Face Generation with Customizable Identity Control [48.94486508604052]
  MAGIC-Talkは、カスタマイズ可能な会話顔生成のためのワンショット拡散ベースのフレームワークである。 ReferenceNetはIDを保存し、テキストプロンプトによるきめ細かい顔の編集を可能にする。 AnimateNetは構造化された動き前処理を用いて動きコヒーレンスを向上させる。
  論文  参考訳（メタデータ） (2025-10-26T19:49:31Z)
• Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
  Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。 Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-04T12:50:22Z)
• OmniTalker: One-shot Real-time Text-Driven Talking Audio-Video Generation With Multimodal Style Mimicking [22.337906095079198]
  我々はOmniTalkerについて述べる。OmniTalkerは、入力テキストから同期音声ビデオコンテンツを共同で生成する統合フレームワークである。 本フレームワークは,2分岐拡散変換器(DiT)アーキテクチャを採用し,一方は音声生成に,もう一方はビデオ合成に用いている。
  論文  参考訳（メタデータ） (2025-04-03T09:48:13Z)
• PortraitTalk: Towards Customizable One-Shot Audio-to-Talking Face Generation [48.94486508604052]
  そこで我々は,PortraitTalkという,ワンショット音声駆動音声生成フレームワークを新たに導入した。 提案手法は,IdentityNetとAnimateNetの2つの主要コンポーネントからなる遅延拡散フレームワークを利用する。 PortraitTalkの鍵となる革新は、疎結合のクロスアテンション機構を通じてテキストプロンプトを組み込むことである。
  論文  参考訳（メタデータ） (2024-12-10T18:51:31Z)
• INFP: Audio-Driven Interactive Head Generation in Dyadic Conversations [11.101103116878438]
  本稿では,Dyadic インタラクションのための新しい音声駆動型ヘッド生成フレームワーク INFP を提案する。 INFPは、モーションベースヘッドイミテーションステージとオーディオガイドモーションジェネレーションステージで構成される。 このような研究を円滑に進めるために,インターネットから収集したリッチな対話の大規模データセットであるDyConvを紹介した。
  論文  参考訳（メタデータ） (2024-12-05T10:20:34Z)
• FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio [45.71036380866305]
  我々は、音声を聴く人々の過程を抽象化し、意味のある手がかりを抽出し、単一の音声から動的に音声に一貫性のある発話顔を生成する。 ひとつはアイデンティティ、コンテンツ、感情をエンタングルドオーディオから効果的に切り離すことであり、もう一つは動画内多様性とビデオ間の一貫性を維持することである。 本稿では,3つのトレーニング可能なアダプタと凍結遅延拡散モデルとのフレキシブルな統合を含む,制御可能なコヒーレントフレーム生成を提案する。
  論文  参考訳（メタデータ） (2024-03-04T09:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。