論文の概要: Qwen3-Omni Technical Report

• arxiv url: http://arxiv.org/abs/2509.17765v1
• Date: Mon, 22 Sep 2025 13:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.410566
• Title: Qwen3-Omni Technical Report
• Title（参考訳）: Qwen3-Omni技術報告
• Abstract要約: Qwen3-Omniは、テキスト、画像、オーディオ、ビデオ間で最先端のパフォーマンスを維持する単一のマルチモーダルモデルである。 Qwen3-OmniはQwenシリーズ内の同一サイズのシングルモーダルモデルのパフォーマンスと一致し、特にオーディオタスクに優れる。 119言語でのテキストインタラクション、19言語での音声理解、および10言語での音声生成をサポートする。
• 参考スコア（独自算出の注目度）: 105.11829337290249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Qwen3-Omni, a single multimodal model that, for the first time, maintains state-of-the-art performance across text, image, audio, and video without any degradation relative to single-modal counterparts. Qwen3-Omni matches the performance of same-sized single-modal models within the Qwen series and excels particularly on audio tasks. Across 36 audio and audio-visual benchmarks, Qwen3-Omni achieves open-source SOTA on 32 benchmarks and overall SOTA on 22, outperforming strong closed-source models such as Gemini-2.5-Pro, Seed-ASR, and GPT-4o-Transcribe. Qwen3-Omni adopts a Thinker-Talker MoE architecture that unifies perception and generation across text, images, audio, and video, yielding fluent text and natural real-time speech. It supports text interaction in 119 languages, speech understanding in 19 languages, and speech generation in 10 languages. To reduce first-packet latency in streaming synthesis, Talker autoregressively predicts discrete speech codecs using a multi-codebook scheme. Leveraging the representational capacity of these codebooks, we replace computationally intensive block-wise diffusion with a lightweight causal ConvNet, enabling streaming from the first codec frame. In cold-start settings, Qwen3-Omni achieves a theoretical end-to-end first-packet latency of 234 ms. To further strengthen multimodal reasoning, we introduce a Thinking model that explicitly reasons over inputs from any modality. Since the research community currently lacks a general-purpose audio captioning model, we fine-tuned Qwen3-Omni-30B-A3B to obtain Qwen3-Omni-30B-A3B-Captioner, which produces detailed, low-hallucination captions for arbitrary audio inputs. Qwen3-Omni-30B-A3B, Qwen3-Omni-30B-A3B-Thinking, and Qwen3-Omni-30B-A3B-Captioner are publicly released under the Apache 2.0 license.
• Abstract（参考訳）: 単一のマルチモーダルモデルであるQwen3-Omniについて述べる。 Qwen3-OmniはQwenシリーズ内の同一サイズのシングルモーダルモデルのパフォーマンスと一致し、特にオーディオタスクに優れる。 36のオーディオおよびオーディオビジュアルベンチマークで、Qwen3-Omniは32のベンチマークでオープンソースSOTA、22のベンチマークでSOTAを達成し、Gemini-2.5-Pro、Seed-ASR、GPT-4o-Transcribeといった強力なクローズドソースモデルを上回った。 Qwen3-OmniはThinker-Talker MoEアーキテクチャを採用しており、テキスト、画像、オーディオ、ビデオ間で知覚と生成を統一し、流動的なテキストと自然なリアルタイム音声を生成する。 119言語でのテキストインタラクション、19言語での音声理解、および10言語での音声生成をサポートする。 ストリーミング合成における最初のパケット遅延を低減するため、Talkerはマルチコードブックスキームを用いて離散音声コーデックを自動回帰予測する。 これらのコードブックの表現能力を活用することで、計算集約的なブロックワイド拡散を軽量な因果ConvNetに置き換え、最初のコーデックフレームからのストリーミングを可能にする。 コールドスタート設定では,Qwen3-Omniは234msの理論的エンド・ツー・エンドのファースト・パケット遅延を実現し,マルチモーダル推論をさらに強化するために,任意のモーダルからの入力を明示的に推論する思考モデルを導入する。 現在,研究コミュニティには汎用的な音声キャプションモデルがないため,Qwen3-Omni-30B-A3Bを微調整してQwen3-Omni-30B-A3B-Captionerを得る。 Qwen3-Omni-30B-A3B、Qwen3-Omni-30B-A3B-Thinking、Qwen3-Omni-30B-A3B-CaptionerはApache 2.0ライセンスの下で公開されている。

関連論文リスト

• TontaubeV1: Streaming Text-to-Speech with Hierarchical Codec Modeling and Bounded Context [0.04583541422554719]
  TontaubeV1は、単一のコンシューマGPUからのストリーミングを可能にしながら、自然な韻律を保存するモデルである。 本設計では,セマンティックストリームの生成時に,韻律構造がほぼ確立されていると仮定する。 このモデルは、音声コンディショニングのために最大1分間のレファレンスオーディオを受け入れ、主に英語とドイツ語向けに設計されている。
  論文  参考訳（メタデータ） (2026-09-08T13:03:46Z)
• Qwen3.5-Omni Technical Report [0.0]
  Qwen3.5- Omniは数十億のパラメータにスケールし、256kのコンテキスト長をサポートする。 Qwen3.5-Omniは、215のオーディオとオーディオの視覚的理解、推論、インタラクションのサブタスクとベンチマークで結果を得る。 ARIAはテキストと音声ユニットを動的に調整し、会話音声の安定性と韻律を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-04-17T08:05:46Z)
• Speed by Simplicity: A Single-Stream Architecture for Fast Audio-Video Generative Foundation Model [52.79436545460808]
  本稿では,人中心生成のためのオープンソースオーディオビデオ生成基盤モデルdaVinci-MagiHumanを紹介する。 DaVinci-MagiHumanは、単一ストリームトランスフォーマーを使用して、同期ビデオとオーディオを共同で生成する。 中国語(マンダリン語とカントン語)、英語、日本語、韓国語、ドイツ語、フランス語の多言語音声生成をサポートする。
  論文  参考訳（メタデータ） (2026-03-23T13:49:06Z)
• Qwen3-TTS Technical Report [64.94647392030824]
  本稿では,Qwen3-TTSシリーズについて述べる。 Qwen3-TTSは最先端の3秒間音声クローニングと記述ベースの制御をサポートする。 Qwen3-TTSは、2つの音声トークンとともに、リアルタイム合成のためのデュアルトラックLMアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2026-01-22T03:51:43Z)
• Qwen3-VL Technical Report [153.3964813640593]
  Qwen3-VLは、これまでで最も有能な視覚言語モデルであり、幅広いマルチモーダルベンチマークで優れた性能を実現している。 最大256Kトークンのインターリーブコンテキストをサポートし、テキスト、画像、ビデオをシームレスに統合する。 Qwen3-VLは3つの中核柱を提供する: (i) 非常に強い純粋テキスト理解、いくつかのケースにおいて同等のテキストのみのバックボーンを超える、 (ii) テキスト入力とインターリーブされたマルチモーダル入力の両方に256Kのネイティブウィンドウを持つ堅牢な長期理解、 (iii) シングルイメージ、マルチイメージ、ビデオタスクをまたいだ高度なマルチモーダル推論。
  論文  参考訳（メタデータ） (2025-11-26T17:59:08Z)
• TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling [13.05578634768109]
  テキスト対応拡散変換器音声コーデック(TaDiCodec)について紹介する。 TaDiCodecは拡散オートエンコーダによる量子化と再構成にエンドツーエンドの最適化を採用している。 フレームレートは6.25Hzで、それに対応する圧縮は0.0875kbpsで、1層コードブックで24kHzの音声を処理できる。
  論文  参考訳（メタデータ） (2025-08-22T20:45:03Z)
• Qwen3 Technical Report [137.96804244102205]
  Qwenモデルファミリの最新バージョンであるQwen3を紹介します。 Qwen3は、性能、効率、多言語機能を向上させるために設計された一連の大規模言語モデル(LLM)から構成されている。
  論文  参考訳（メタデータ） (2025-05-14T13:41:34Z)
• VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model [70.25062476543091]
  VITA-Audioは、高速な音声テキストトークン生成を備えたエンドツーエンドの大規模音声モデルである。 MCTPモジュールは、単一のモデルフォワードパス内で複数のオーディオトークンを効率よく生成する。 4段階のプログレッシブ・トレーニング・ストラテジーは,音声品質の低下を最小限に抑えたモデルアクセラレーションを実現するために検討された。
  論文  参考訳（メタデータ） (2025-05-06T17:59:53Z)
• Qwen2.5-Omni Technical Report [31.033323728153984]
  本稿では,テキスト,画像,音声,ビデオなど多様なモーダル性を認識するために,テキストと自然な音声応答を同時生成するエンド・ツー・エンドのマルチモーダルモデルを提案する。 Qwen2.5-OmniはOmni-Benchのようなマルチモーダルベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-26T04:17:55Z)
• Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision [50.23246260804145]
  本研究は, 聴覚, 視覚, 言語的モダリティを統合した, 産業レベルのOmni-Modal Large Language Model (LLM) パイプラインを提案する。 まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。 第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。 第三に、様々な現実世界のシナリオから高品質な音声テキストデータを生成するオーディオ合成パイプライン。
  論文  参考訳（メタデータ） (2025-02-26T17:26:36Z)
• Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias [71.94109664001952]
  Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。 Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
  論文  参考訳（メタデータ） (2023-06-06T08:54:49Z)
• EfficientSpeech: An On-Device Text to Speech Model [15.118059441365343]
  State of the Art (SOTA) Neural Text to Speech (TTS)モデルでは、自然な音声合成音声を生成することができる。 本研究では,ARM CPU上で音声をリアルタイムに合成するEfficientSpeechという,効率的なニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T10:28:41Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。