論文の概要: OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue
- arxiv url: http://arxiv.org/abs/2609.21465v1
- Date: Fri, 18 Sep 2026 08:15:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.930232
- Title: OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue
- Title（参考訳）: OmniVChat: ネイティブオーディオとビジュアルの対話のための合成、ベンチマーク、トレーニング
- Abstract要約: 我々はOmniVChatを,ユーザとオムニモデルとのネイティブ音声・視覚対話のタスクとして定義する。
OmniVChat-Studioはシングルターンおよびマルチターン音声・視覚対話を合成するためのマルチエージェントデータエンジンである。
また,OmniVChat-RLは,OmniVChatにおける応答の正しさ,効率,スタイルを共同で目標とする強化学習報酬設計である。
- 参考スコア（独自算出の注目度）: 44.893590044283705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We define OmniVChat (Omni Video Chat) as the task of native audio-visual dialogue between a user and an omni model. In OmniVChat, omni models directly and simultaneously receive audio and video from a user and return text. The user's query is embedded in the audio and video, without a separate text question, external captioning, or speech recognition. Direct audio-visual input reduces external latency and computation while preserving perceptual cues. However, research on OmniVChat faces two constraints: data availability and evaluation. Recordings of people using their own devices are scarce. Furthermore, a good reply often needs to account for the user's surroundings, facial expressions, and nearby objects, and such responses can be expressed in many different ways, making keyword matching unreliable for evaluating reply quality. Recent progress in agent systems and video generation makes generation for comprehension viable, which means using synthesized dialogues for training and evaluation. Therefore, we present OmniVChat-Studio, a multi-agent data engine for synthesizing single- and multi-turn audio-visual dialogues. We use synthesized dialogues to build OmniVChat-Bench, an evaluation benchmark that evaluates omni models' basic dialogue abilities across five ability categories. We also present OmniVChat-RL, a reinforcement learning reward design that jointly targets reply correctness, efficiency, and style in OmniVChat. Training Qwen3-Omni-Instruct with OmniVChat-RL on synthesized dialogues improves its performance on both OmniVChat-Bench and the human-recorded OmniVChat-Bench-Human. These gains validate the reward design and show transfer to real-world dialogues in training and evaluation.
- Abstract（参考訳）: 我々は,OmniVChat(Omni Video Chat)を,ユーザとオムニモデルとのネイティブ音声・視覚対話のタスクとして定義する。
OmniVChatでは、omniモデルを直接かつ同時にユーザからオーディオとビデオを受け取り、テキストを返す。
ユーザのクエリは、別のテキスト質問、外部キャプション、音声認識なしで、オーディオとビデオに埋め込まれる。
直接オーディオ視覚入力は、知覚的手がかりを保持しながら外部のレイテンシと計算を減少させる。
しかし、OmniVChatの研究はデータの可用性と評価の2つの制約に直面している。
自分のデバイスを使っている人の記録は少ない。
さらに、適切な応答は、ユーザの周囲、表情、および近くのオブジェクトを考慮しなくてはならないことが多く、そのような応答は様々な方法で表現できるため、応答品質を評価するためのキーワードマッチングは信頼性が低い。
エージェントシステムとビデオ生成の最近の進歩は、理解のための生成を可能にする。
そこで我々は,シングルターン音声・視覚対話を合成するマルチエージェントデータエンジンOmniVChat-Studioを提案する。
OmniVChat-Benchは,Omniモデルの基本対話能力を5つの能力カテゴリで評価する評価ベンチマークである。
また,OmniVChat-RLは,OmniVChatにおける応答の正しさ,効率,スタイルを共同で目標とする強化学習報酬設計である。
合成対話におけるQwen3-Omni-Instruct with OmniVChat-RLは、OmniVChat-Benchと人間記録のOmniVChat-Bench-Humanの両方のパフォーマンスを向上させる。
これらの成果は、報酬設計を検証し、訓練と評価において現実世界の対話に伝達することを示す。
関連論文リスト
- Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence [33.92034255598876]
視覚応答を生成するオムニモード対話フレームワークである textbfEx-Omni-2D を導入する。
このモデルは、シーン、感情、動きを記述した構造化されたtextitVisual Thought Plan (VTP) を予測し、その後に応答テキストとネイティブなマルチコードブック音声ユニットが続く。
論文 参考訳（メタデータ） (2026-08-11T09:37:11Z) - VideoFDB: Evaluating Full-Duplex Vision-Speech Capabilities in Conversational Agents [27.786319380559515]
人間とエージェントの対話を成功させるためには、完全な視覚的会話をモデル化する必要がある。
AV2AVインタラクションの完全なオーディオヴィジュアルキャプションのための最初のベンチマークとして、VideoFDBは体系的な評価と進歩の基礎を確立している。
論文 参考訳（メタデータ） (2026-05-28T17:20:01Z) - Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception [97.32606786622728]
我々は、データパイプライン、モデル、ベンチマークの観点から、Omniの詳細な認識を体系的で包括的に調査する。
ツールコールを統合したエージェントデータ生成パイプラインであるOmni-Detectiveを提案する。
Omni-Detectiveで生成されたデータに基づいて、2つのキャプションモデル:音声のみの詳細な知覚のためのオーディオ・キャプション・キャプション・モデルと、音声視覚による詳細な知覚のためのOmni-Captionerを訓練する。
論文 参考訳（メタデータ） (2025-10-14T17:00:09Z) - MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。
具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。
10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
論文 参考訳（メタデータ） (2025-07-14T23:20:42Z) - OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs [6.365802395342737]
ゼロショット感情認識タスクにおける4つのオムニ-LLMの最初の体系的評価であるOmniVoxを提案する。
我々は、IEMOCAPとMELDの2つの広く使われているマルチモーダル感情ベンチマークを評価し、ゼロショットのOmni-LLMが優れているか、微調整されたオーディオモデルと競合するかを見出した。
本稿では、音響特徴分析、会話コンテキスト分析、ステップバイステップ推論に焦点を当てた、オムニ-LLMの音声特異的プロンプト戦略である音響プロンプトについて述べる。
論文 参考訳（メタデータ） (2025-03-27T13:12:49Z) - Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision [83.0622534215881]
本研究は, 聴覚, 視覚, 言語的モダリティを統合した, 産業レベルのOmni-Modal Large Language Model (LLM) パイプラインを提案する。
まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。
第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。
第三に、様々な現実世界のシナリオから高品質な音声テキストデータを生成するオーディオ合成パイプライン。
論文 参考訳（メタデータ） (2025-02-26T17:26:36Z) - OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。
提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
論文 参考訳（メタデータ） (2024-10-23T11:58:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。