論文の概要: Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence
- arxiv url: http://arxiv.org/abs/2608.10720v1
- Date: Tue, 11 Aug 2026 09:37:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.995897
- Title: Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence
- Title（参考訳）: 元Omni-2D:ネイティブ・ビジュアル・プレゼンスを用いた表現型Omni-Modalダイアログモデル
- Abstract要約: 視覚応答を生成するオムニモード対話フレームワークである textbfEx-Omni-2D を導入する。
このモデルは、シーン、感情、動きを記述した構造化されたtextitVisual Thought Plan (VTP) を予測し、その後に応答テキストとネイティブなマルチコードブック音声ユニットが続く。
- 参考スコア（独自算出の注目度）: 33.92034255598876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Omni-modal dialogue models can understand multimodal inputs and synthesize spoken replies, yet their responses remain visually disembodied. We introduce \textbf{Ex-Omni-2D}, an omni-modal dialogue framework that generates a coordinated response comprising text, personalized speech, and reference-conditioned video. Given a multimodal query, reference image, and reference audio, the model predicts a structured \textit{Visual Thought Plan} (VTP) describing scene, emotion, and motion, followed by response text and native multi-codebook speech units. These units form a shared acoustic-temporal interface: they are decoded into speech and aligned online with video frames. This interface enables the response and avatar pathways to be learned from heterogeneous speech, dialogue, and avatar-video data, avoiding the need for large-scale query--text--speech--video supervision. A full-sequence Video Generator serves as the primary Teacher. For efficient incremental generation, we further distill it into a few-step block-causal \emph{Streaming Student} whose Prefix Streaming mechanism carries a clean latent across consecutive chunks to reduce cumulative late-chunk degradation. With four-step inference, the complete four-GPU pipeline achieves an end-to-end RTF of 1.293 at $400\times720$/$720\times400$, providing a practical quality--efficiency operating point.
- Abstract（参考訳）: オムニモーダル対話モデルはマルチモーダル入力を理解し、音声応答を合成することができるが、その応答は視覚的に不自由なままである。
本稿では,テキスト,パーソナライズされた音声,および参照条件のビデオからなる協調応答を生成するオムニモーダル対話フレームワークである \textbf{Ex-Omni-2D} を紹介する。
マルチモーダルクエリ、参照画像、参照音声が与えられたモデルでは、シーン、感情、動きを記述した構造化された \textit{Visual Thought Plan} (VTP) が予測され、その後に応答テキストとネイティブなマルチコードブック音声ユニットが続く。
これらのユニットは音声と時間の共有インターフェースを形成し、音声にデコードされ、オンラインでビデオフレームとアライメントされる。
このインタフェースにより、異種音声、対話、およびアバタービデオデータから応答とアバター経路を学習することができ、大規模なクエリー-テキスト-音声-ビデオ監視の必要性を回避することができる。
フルシーケンスビデオジェネレータが主教師として機能する。
効率的なインクリメンタルな生成のために,数ステップのブロックカウサル \emph{Streaming Students} に蒸留し,プレフィックスストリーミング機構は連続チャンクにクリーン潜水剤を供給し,累積遅延クランク劣化を低減させる。
4ステップの推論で、完全な4GPUパイプラインは、400\times720$/$720\times400$で1.293のエンドツーエンドRTFを達成し、実用的な品質効率の運用ポイントを提供する。
関連論文リスト
- Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models [49.372283081631366]
AVSTEは、音声知覚に到達する前に、ノイズの多い音声とリップビデオから意味のある音声トークンを復元する。
モシと統合すると、AVSTEは平均GPT-4ojudged応答コヒーレンスを1.42.91から改善する。
論文 参考訳（メタデータ） (2026-09-08T07:59:13Z) - Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。
LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。
まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。
第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
論文 参考訳（メタデータ） (2026-06-05T07:29:20Z) - UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction [7.775050285048427]
音声アシスタントは人間のような会話システムに向けて人工的な伝播を駆動しています。
音声活動検出(VAD)やターンテイク検出(TD)といったフロントエンドコンポーネントは、音声アシスタントにとって不可欠である。
本報告では, フルグレッシブ音声システムに適した初の統合音声フロントエンド LLM (UAF) を提案する。
論文 参考訳（メタデータ） (2026-04-21T08:24:55Z) - Beyond Monologue: Interactive Talking-Listening Avatar Generation with Conversational Audio Context-Aware Kernels [26.18760496276335]
対話型仮想エージェントを開発し、会話と聴取の両方に双方向の音声入力を同時に処理する。
我々の手法は文脈意味論と強い時間的アライメントを融合させ、非常に自然で応答性の高い対話型デジタル人間を生成するための新しい最先端技術を構築した。
論文 参考訳（メタデータ） (2026-04-11T22:34:21Z) - F-Actor: Controllable Conversational Behaviour in Full-Duplex Models [70.48189107402145]
典型的な学術的制約下で効率的に訓練できる,第1にオープンかつ命令追従型全段階会話音声モデルを提案する。
我々のモデルは、大規模な事前訓練や多段階事前訓練に頼ることなく、わずか2000時間のデータしか必要としない。
モデルとトレーニングコードの両方がリリースされ、制御可能なフルステージ音声システムに関する再現可能な研究が可能になる。
論文 参考訳（メタデータ） (2026-01-16T14:25:57Z) - MAViD: A Multimodal Framework for Audio-Visual Dialogue Understanding and Generation [59.23161833385837]
音声対話理解・生成のための新しいマルチモーダルフレームワークMAViDを提案する。
本フレームワークは,ユーザのマルチモーダルクエリを正確に解釈し,鮮明かつコンテキスト的にコヒーレントなロングデュレーション対話を生成できる。
論文 参考訳（メタデータ） (2025-12-02T18:55:53Z) - OmniResponse: Online Multimodal Conversational Response Generation in Dyadic Interactions [62.19092662469285]
Online Multimodal Conversational Response Generation (OMCRG) は、オンラインの音声と非言語からのフィードバックを同時生成する新しいタスクである。
我々は,OmniResponseを提案する。OmniResponseはマルチモーダル大言語モデル(MLLM)であり,正確なマルチモーダルリスナー応答を自動回帰的に生成する。
ResponseNetは、696の詳細なダイアディックインタラクションのデータセットで、同期化された分割画面ビデオ、マルチチャンネルオーディオ、トランスクリプト、注釈付き顔行動が特徴です。
論文 参考訳（メタデータ） (2025-05-27T20:12:46Z) - OmniTalker: One-shot Real-time Text-Driven Talking Audio-Video Generation With Multimodal Style Mimicking [22.337906095079198]
我々はOmniTalkerについて述べる。OmniTalkerは、入力テキストから同期音声ビデオコンテンツを共同で生成する統合フレームワークである。
本フレームワークは,2分岐拡散変換器(DiT)アーキテクチャを採用し,一方は音声生成に,もう一方はビデオ合成に用いている。
論文 参考訳（メタデータ） (2025-04-03T09:48:13Z) - SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation [17.56310064245171]
SALMON-Omni(サルモン・オムニ)は、発話中に発声した音声を同時に聴くことができる音声理解・生成モデルである。
SALMON-Omniは、ターンテイキング、バージイン、エコーキャンセルのシナリオの管理に長けており、完全な対話型AIシステムの堅牢なプロトタイプとしての可能性を確立している。
論文 参考訳（メタデータ） (2024-11-27T08:38:57Z) - Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。
そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。
得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
論文 参考訳（メタデータ） (2024-09-17T17:55:39Z) - VX2TEXT: End-to-End Learning of Video-Based Text Generation From
Multimodal Inputs [103.99315770490163]
本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。
実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
論文 参考訳（メタデータ） (2021-01-28T15:22:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。