論文の概要: Qwen3.8-Omni: Towards Native Omni-Modal Agents
- arxiv url: http://arxiv.org/abs/2609.25611v1
- Date: Tue, 22 Sep 2026 03:07:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.188951
- Title: Qwen3.8-Omni: Towards Native Omni-Modal Agents
- Title（参考訳）: Qwen3.8-Omni:ネイティブオムニモーダルエージェントを目指して
- Abstract要約: 実世界の生産性のためのマルチモーダルエージェントモデルであるQwen3.8-Omni-Flashを紹介する。
このモデルはQwen3.8-Nextのスパース混成アーキテクチャを継承し、コンテキストを100万のトークンに拡張する。
既存のエージェントハーネスにおけるネイティブオーディオおよびビデオサポートの欠如に対処するため、マルチモーダル生産性のための軽量なオープンソースフレームワークであるQwen-MM-sをリリースする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Qwen3.8-Omni-Flash, a natively multimodal agentic model for real-world multimodal productivity. Compared with previous omni models, which primarily emphasized perception and interaction, Qwen3.8-Omni-Flash substantially improves multimodal understanding and reasoning, as well as performance on long-horizon agentic tasks. These capabilities are supported by a native multimodal co-training strategy that preserves strong text-domain capabilities while facilitating the transfer of agentic capabilities from text to audio and video tasks. The model inherits the sparse mixture-of-experts (MoE) architecture of Qwen3.8-Next and extends the context window to one million tokens, supporting long-context multimodal reasoning and long-horizon planning. These advances enable integration into production workflows as a primary agent or a specialized sub-agent, supporting video editing, long-form audio and video translation, music-conditioned music video or movie generation, and video-based note or omni-skill creation. To address the lack of native audio and video support in existing agent harnesses, we release Qwen-MM-Plugins, a lightweight open-source plugin framework for multimodal productivity. We further frame real-time multimodal interaction as a system-level challenge requiring orchestration of context and memory management, tool use, and sub-agent delegation. Accordingly, we release Qwen-Live-Harness, an open-source framework for building responsive, real-time multimodal agents based on Qwen3.8-Omni-Flash. Extensive evaluations demonstrate that Qwen3.8-Omni-Flash achieves strong performance across multimodal understanding, reasoning, long-horizon agentic execution, and video productivity tasks. These results and the accompanying open-source tools support Qwen3.8-Omni-Flash as a practical foundation for deploying natively multimodal agents in research and production.
- Abstract（参考訳）: Qwen3.8-Omni-Flashは実世界のマルチモーダル生産性のためのネイティブなマルチモーダルエージェントモデルである。
Qwen3.8-Omni-Flashは、従来のOmniモデルと比較して、マルチモーダル理解と推論を大幅に改善し、また長距離エージェントタスクの性能も向上した。
これらの機能は、強力なテキストドメイン機能を維持しながら、テキストからオーディオおよびビデオタスクへのエージェント機能の転送を容易にする、ネイティブなマルチモーダルコトレーニング戦略によってサポートされている。
このモデルはQwen3.8-Nextのスパース・ミックス・オブ・エキスパート(MoE)アーキテクチャを継承し、コンテキストウィンドウを100万のトークンに拡張し、長期コンテキストのマルチモーダル推論と長期計画をサポートする。
これらの進歩により、プライマリエージェントまたは特別なサブエージェントとしてプロダクションワークフローに統合され、ビデオ編集、長文のオーディオおよびビデオ翻訳、音楽条件のミュージックビデオまたは映画生成、ビデオベースのノートまたはオムニスキル作成をサポートする。
既存のエージェントハーネスにおけるネイティブオーディオとビデオサポートの欠如に対処するため,マルチモーダルな生産性を実現する軽量なオープンソースプラグインフレームワークであるQwen-MM-Pluginsをリリースする。
さらに、コンテキストとメモリ管理、ツール使用、サブエージェントデリゲートのオーケストレーションを必要とするシステムレベルの課題として、リアルタイムマルチモーダルインタラクションについても検討する。
そこで我々はQwen3.8-Omni-Flashをベースとした応答性のあるリアルタイムマルチモーダルエージェントを構築するためのオープンソースフレームワークであるQwen-Live-Harnessをリリースした。
Qwen3.8-Omni-Flashはマルチモーダル理解、推論、長距離エージェント実行、ビデオ生産性タスクで高いパフォーマンスを実現している。
これらの結果と付随するオープンソースツールは、Qwen3.8-Omni-Flashを、研究と生産にネイティブにマルチモーダルエージェントをデプロイするための実践的な基盤としてサポートしている。
関連論文リスト
- FRAMEWORKERS: A Dynamic Multi-Agent Framework for AI-Generated Video Production [55.71860113185132]
本稿では,タスク中心のマルチエージェントフレームワークであるFRAMEWORKERSを紹介した。
Central Directorは、ビデオ生成を動的タスク管理として定式化し、タスクスタックを継続的に編集して、次にどのサブタスクを実行するか、どのサブエージェントを呼び出すかを決定する。
アシスタントは実行層として機能し、選択した各タスクを共有ワークスペースに接地し、必要なアセットとコンテキストを検索し、割り当てられたサブエージェントを呼び出し、結果のアーティファクトを永続化する。
FRAMEWORKERSは、ルーティング精度において強いプランナーよりも優れ、実行時の障害から確実に回復し、目に見えないサブに一般化することを示した。
論文 参考訳（メタデータ） (2026-08-30T14:28:50Z) - Sandboxed Coding Agents are Competitive Omni-modal Task Solvers [22.269016330825128]
テキスト・イメージ・アクセスとサンドボックス・ツール・ユース・インタフェースしか持たないコーディング・エージェントがSOTAネイティブ・オムニモーダル・モデルと一致することを示す。
私たちの軌道分析は、その強みがコードを書き、関連する証拠を抽出するためのツールを編成することに由来することを示唆しています。
我々は,OmniCodingトラジェクトリデータセットと検証可能な報酬を含むトレーニングレシピであるCode-Xを紹介し,Qwen-3.5-9BとQwen-3.6-27Bのベースラインを提供する。
論文 参考訳（メタデータ） (2026-05-30T07:04:27Z) - Kling-Omni Technical Report [80.64599716667777]
Kling-Omniはマルチモーダルな視覚言語入力から直接高忠実度動画を合成するための生成フレームワークである。
Kling-Omniは、多様なビデオ生成、編集、インテリジェントな推論タスク間の機能的分離を橋渡しする。
テキスト命令、参照画像、ビデオコンテキストを含む多様なユーザ入力をサポートし、それらを統一されたマルチモーダル表現に処理する。
論文 参考訳（メタデータ） (2025-12-18T17:08:12Z) - Qwen3-VL Technical Report [153.3964813640593]
Qwen3-VLは、これまでで最も有能な視覚言語モデルであり、幅広いマルチモーダルベンチマークで優れた性能を実現している。
最大256Kトークンのインターリーブコンテキストをサポートし、テキスト、画像、ビデオをシームレスに統合する。
Qwen3-VLは3つの中核柱を提供する: (i) 非常に強い純粋テキスト理解、いくつかのケースにおいて同等のテキストのみのバックボーンを超える、 (ii) テキスト入力とインターリーブされたマルチモーダル入力の両方に256Kのネイティブウィンドウを持つ堅牢な長期理解、 (iii) シングルイメージ、マルチイメージ、ビデオタスクをまたいだ高度なマルチモーダル推論。
論文 参考訳（メタデータ） (2025-11-26T17:59:08Z) - UniVA: Universal Video Agent towards Open-Source Next-Generation Video Generalist [107.04196084992907]
次世代ビデオジェネラリストのためのオールニ対応マルチエージェントフレームワークUniVAを紹介する。
UniVAはPlan-and-Actのデュアルエージェントアーキテクチャを採用しており、高度に自動化されプロアクティブなワークフローを駆動している。
また、理解、編集、セグメンテーション、生成にまたがるマルチステップビデオタスクのベンチマークスイートUniVA-Benchについても紹介する。
論文 参考訳（メタデータ） (2025-11-11T17:58:13Z) - Hollywood Town: Long-Video Generation via Cross-Modal Multi-Agent Orchestration [73.65102758687289]
本研究は,マルチエージェントコラボレーションを改善するための3つのイノベーションを紹介する。
まず、長いビデオ生成のための階層型グラフベースのマルチエージェントフレームワークであるOmniAgentを提案する。
第2に,文脈工学にヒントを得たハイパーグラフノードを提案する。
論文 参考訳（メタデータ） (2025-10-25T20:34:18Z) - A Unified Multi-Agent Framework for Universal Multimodal Understanding and Generation [8.021435739965982]
マルチモーダルな理解と生成を2つの分離されたフェーズ(認知と熟考)を通じて統合するモジュラーフレームワークを提案する。
コグニションでは、Perceiver、Planner、Reflectorの3つのロール条件のマルチモーダルLLMエージェントが協調対話を行い、構造化された理解と計画を実行する。
Deliberation フェーズには、LSM に基づく推論と拡散に基づく生成を相互に強化する成長意識探索機構が組み込まれている。
論文 参考訳（メタデータ） (2025-08-14T09:52:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。