論文の概要: Realtime-Venus: A full-duplex interaction system with asynchronous delegation
- arxiv url: http://arxiv.org/abs/2609.13814v2
- Date: Fri, 18 Sep 2026 15:20:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 03:38:27.335212
- Title: Realtime-Venus: A full-duplex interaction system with asynchronous delegation
- Title（参考訳）: Realtime-Venus:非同期デリゲートを用いたフルダブルインタラクションシステム
- Abstract要約: 音声対話のためのリアルタイム・リアルタイム・オムニ・オーディオ・インタラクションとリアルタイム・オーディオ・スポーケンを提示する。
それぞれのモデルは完全な会話として機能し、連続認識、会話制御、およびネイティブ音声生成を統合する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Natural interaction in digital and physical environments requires continuous perception and timely responses. Spoken dialogue relies on acoustic and linguistic cues, while video interaction also requires grounding the conversation in evolving visual context. We present Realtime-Venus, a proactive full-duplex interaction system with two separately trained 9B models: Realtime-Venus-Omni for audio-visual interaction and Realtime-Venus-Audio for spoken interaction. Each model serves as a complete conversational frontend, integrating continuous perception, conversational control, and native speech generation through a shared causal timeline for user inputs, model outputs, and delegation events. A dual-loop runtime coordinates live interaction with background reasoning and tool execution. Foreground interaction continues while Realtime-Venus-Harness executes tasks asynchronously and returns results for integration into the ongoing dialogue. Both models follow a common post-training recipe combining offline understanding, proactive full-duplex trajectories, and delegation workflows. Among the evaluated online models, Realtime-Venus-Omni achieves the highest scores on six of eight video benchmarks, including StreamingBench (70.2%), OVO-Bench (64.7%), and Daily-Omni (81.3%). Across eight audio understanding and spoken question answering benchmarks, Realtime-Venus-Audio leads the compared models on MMAU (78.0%), MMAU-Pro (63.2%), Llama Questions (83.8%), and Speech CMMLU (67.8%), while matching the best VoiceBench AlpacaEval score of 4.81. On Full-Duplex-Bench v1.5, Realtime-Venus-Audio responds to 75% of user interruptions and achieves continuation rates of 97%, 88%, and 86% under backchannels, other-directed speech, and background speech, respectively, exceeding Gemini 3.1 Live and GPT-4o on all three continuation metrics.
- Abstract（参考訳）: デジタルおよび物理的環境における自然な相互作用は、継続的な知覚とタイムリーな応答を必要とする。
音声対話は音響的および言語的手がかりに依存し、ビデオ対話は進化する視覚的文脈における会話の基盤も必要である。
音声-視覚インタラクションのためのRealtime-Venus-Omniと音声インタラクションのためのRealtime-Venus-Audioである。
各モデルは完全な会話フロントエンドとして機能し、ユーザ入力、モデル出力、デリゲートイベントの共有因果タイムラインを通じて、継続的な知覚、会話制御、およびネイティブ音声生成を統合する。
デュアルループランタイムは、バックグラウンド推論とツール実行とのライブインタラクションを調整する。
Realtime-Venus-Harnessはタスクを非同期に実行し、進行中の対話に統合するための結果を返す。
どちらのモデルも、オフライン理解、アクティブな全二重軌跡、デリゲートワークフローを組み合わせたトレーニング後の一般的なレシピに従っている。
評価されたオンラインモデルの中で、Realtime-Venus-Omniは、StreamingBench (70.2%)、OVO-Bench (64.7%)、Daily-Omni (81.3%)を含む8つのビデオベンチマークのうち、最高スコアを獲得した。
8つの音声理解と音声質問応答ベンチマークで、Realtime-Venus-AudioはMMAU (78.0%)、MMAU-Pro (63.2%)、Llama Questions (83.8%)、Speech CMMLU (67.8%)の比較モデルをリードし、VoiceBench AlpacaEvalのスコアは4.81である。
Full-Duplex-Bench v1.5では、Realtime-Venus-Audioはユーザーの75%の割り込みに反応し、バックチャネル、他方向音声、バックグラウンド音声の継続率97%、88%、86%を達成した。
関連論文リスト
- Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation [33.4073718746898]
本稿では,映像,音声,テキストを共有時間グリッド上でリアルタイムに出力するAero Realtimeを紹介した。
4つのNVIDIA A6000ワークステーションでは、Aero Realtimeは84msの中央値と173msのP95処理ラグを継続的にストリーミングされたビデオの20分以上保持している。
その結果,デュアルプレックス・プロアクティブ・ハードウェア・アライン・マルチモーダルインタラクションのための完全インプット・アウトプット・モデリングの実現可能性を示した。
論文 参考訳（メタデータ） (2026-08-09T04:22:57Z) - Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models [53.470209949659115]
RLによる全音声対話モデルを改善する訓練後アライメント手法を提案する。
対話性の4つの標準軸(ターンテイキング、バックチャネル一時停止、ユーザ中断)に対処する。
応答品質に対する追加ベースの報酬は、セマンティックな劣化を防ぐ。
論文 参考訳（メタデータ） (2026-06-09T17:46:55Z) - Audio Interaction Model [102.4354125819644]
今日のLALM(Large Audio Language Models)はオフラインであり、ストリーミングオーディオモデルはASRや音声チャットのような単一のタスクのみを処理する。
それは、常時オンの知覚・認知応答ループを通じて、音、環境、指示をリアルタイムで聞き、リアルタイムで反応するモデルである。
我々は,この仕組みをオーディオインタラクションモデルとして定式化し,オフラインタスクの実行を継続する統合ストリーミングモデルであるAudio-Interactionで実現した。
論文 参考訳（メタデータ） (2026-06-03T17:26:11Z) - OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants [43.2907783462394]
音声-視覚的ストリームに対するネイティブ推論によって評価されたリアルタイム全言語モデルのストリーミングベンチマーク。
本研究では,対話型品質タイムラインF1,割り込み診断スイート,368の1QnAスロットを用いて,応答の正しさ,タイミング,不正出力の割り込み,コンテキスト継続性を評価した。
論文 参考訳（メタデータ） (2026-05-26T02:49:47Z) - MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。
Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。
合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
論文 参考訳（メタデータ） (2026-04-30T04:05:43Z) - Full-Duplex-Bench-v3: Benchmarking Tool Use for Full-Duplex Voice Agents Under Real-World Disfluency [61.68376148916503]
FDB-v3 (Full-Duplex-Bench-v3) は、自然言語条件下での音声モデルの評価と多段階ツールの使用のためのベンチマークである。
以前の作業とは異なり、データセットは5つのディスフルカテゴリにアノテートされた実際の人間のオーディオで構成されており、4つのタスクドメインにチェーンされたAPI呼び出しを必要とするシナリオとペアリングされています。
GPT-Realtime、Gemini Live 2.5、Gemini Live 3.1、Grok、Ultravox v0.7、従来のカスケードパイプライン(Whisper$rightarrow$rightarrow$TTS)の6つのモデル構成を精度、レイテンシ、ターンで評価した。
論文 参考訳（メタデータ） (2026-04-06T16:46:52Z) - Real-Time Voicemail Detection in Telephony Audio Using Temporal Speech Activity Features [1.066048003460524]
本稿では,事前学習したニューラル音声活動検出器の音声活動パターンから15の時間的特徴を抽出する軽量なアプローチを提案する。
2つの評価セットで合計764の電話録音を行い、96.1%の精度で合成する。
論文 参考訳（メタデータ） (2026-04-02T17:43:24Z) - Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities [93.09944267871163]
FullDuplexBenchは、重要なインタラクティブな振る舞いを体系的に評価するベンチマークである。
ベンチマークコードを公開することによって、音声対話モデリングの進歩と、より自然で魅力的なSDMの開発を目指しています。
論文 参考訳（メタデータ） (2025-03-06T18:59:16Z) - Beyond Turn-Based Interfaces: Synchronous LLMs as Full-Duplex Dialogue Agents [12.555910887280199]
フル同期音声対話モデルのための同期LLMを提案する。
実世界の音声対話データをわずか2k時間で有意義で自然な対話を生成するモデルを訓練する。
異なるデータセット上で訓練された2つのエージェント間の相互作用をシミュレートすることにより、モデルがフル同期対話に参加する能力を示す。
論文 参考訳（メタデータ） (2024-09-23T23:01:31Z) - Real-time Speaker counting in a cocktail party scenario using
Attention-guided Convolutional Neural Network [60.99112031408449]
重なり合う音声におけるアクティブ話者数を推定するために,CNN(Real-time, Single-channel attention-guided Convolutional Neural Network)を提案する。
提案システムは,CNNモデルを用いて音声スペクトルから高レベル情報を抽出する。
WSJコーパスを用いた重畳音声のシミュレーション実験により,従来の時間平均プーリングに比べて,注意解がほぼ3%向上することが示されている。
論文 参考訳（メタデータ） (2021-10-30T19:24:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。