論文の概要: Kwai Keye-VL-2.0 Technical Report

• arxiv url: http://arxiv.org/abs/2606.10651v1
• Date: Tue, 09 Jun 2026 09:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.431215
• Title: Kwai Keye-VL-2.0 Technical Report
• Title（参考訳）: Kwai Keye-VL-2.0テクニカルレポート
• Abstract要約: Keye-VL-2.0は、長期ビデオ理解とエージェントインテリジェンスを促進するために設計されたマルチモーダル基盤モデルである。 DeepSeek Sparse Attention (DSA)をGQAベースのマルチモーダルアーキテクチャに適応したのは,これが初めてである。 コンテクスト-RLとビデオ-RLを併用したMOPD(Cross-Modal Multi-Teacher On-Policy Distillation)は破滅的忘れのアルゴリズム的ジレンマを克服する。
• 参考スコア（独自算出の注目度）: 53.82434681649277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Kwai Keye-VL-2.0-30B-A3B, an open-source Mixture-of-Experts (MoE) multimodal foundation model designed to advance long-video understanding and agentic intelligence. To address the challenges of ultra-long contexts, information redundancy, and prohibitive computational costs inherent in hour-level videos, Keye-VL-2.0 is the first to adapt DeepSeek Sparse Attention (DSA) to GQA-based multimodal architectures, enabling lossless 256K context processing while capturing critical frames and long-range temporal dependencies. This architecture is underpinned by a highly optimized training and inference infrastructure, including scalable video I/O, heterogeneous ViT-LM parallelism, and custom DSA kernels that significantly maximize throughput and minimize computational overhead. Furthermore, to overcome the algorithmic dilemma of catastrophic forgetting during multi-task alignment, we introduce Cross-Modal Multi-Teacher On-Policy Distillation (MOPD) paired with Context-RL and Video-RL. By distilling dense token-level teacher feedback from on-policy rollouts back into the MoE backbone, which activates only 3B parameters, Keye-VL-2.0 natively empowers advanced agent collaboration across Code, Tool, and Search scenarios with multimodal self-correction. Extensive evaluations across video understanding, temporal grounding, reasoning, STEM, and agent benchmarks demonstrate that Keye-VL-2.0-30B-A3B achieves state-of-the-art performance among models of similar scale, particularly excelling in fine-grained temporal localization on TimeLens and long-video comprehension on Video-MME-v2 and LongVideoBench. We release our model checkpoints to accelerate community progress toward scalable and robust multimodal agentic applications.
• Abstract（参考訳）: Kwai Keye-VL-2.0-30B-A3BはオープンソースのMixture-of-Experts(MoE)マルチモーダル基盤モデルで,長期映像理解とエージェントインテリジェンスの向上を目的としている。 超長期のコンテキスト、情報冗長性、時間単位の動画に固有の禁忌計算コストの課題に対処するため、Keye-VL-2.0は、DeepSeek Sparse Attention (DSA)をGQAベースのマルチモーダルアーキテクチャに適用し、重要なフレームと長時間の時間依存性をキャプチャしながら、損失のない256Kコンテキスト処理を可能にする。 このアーキテクチャは、スケーラブルなビデオI/O、ヘテロジニアスなVT-LM並列性、スループットを著しく最大化し計算オーバーヘッドを最小限にするカスタムDSAカーネルなど、高度に最適化されたトレーニングと推論のインフラによって支えられている。 さらに,マルチタスクアライメントにおける壊滅的忘れのアルゴリズム的ジレンマを克服するために,Context-RL と Video-RL を併用したクロスモーダルマルチTeacher On-Policy Distillation (MOPD) を導入する。 3BパラメータのみをアクティベートするMoEバックボーンに、オンラインのロールアウトから高密度のトークンレベルの教師フィードバックを蒸留することで、Keye-VL-2.0は、コード、ツール、検索シナリオを多モーダルな自己補正で横断する高度なエージェントコラボレーションをネイティブに強化する。 ビデオ理解、時間的接地、推論、STEM、エージェントベンチマークの広範な評価により、Keye-VL-2.0-30B-A3Bは、特にTimeLensにおける微粒な時間的局所化と、Video-MME-v2およびLongVideoBenchにおける長ビデオ理解に優れた、類似スケールのモデル間で、最先端のパフォーマンスを達成していることが示された。 我々は、スケーラブルで堅牢なマルチモーダルエージェントアプリケーションに向けたコミュニティの進展を加速するために、モデルチェックポイントをリリースします。

関連論文リスト

• Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
  Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。 データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
  論文  参考訳（メタデータ） (2026-04-06T17:59:56Z)
• Qwen3-VL Technical Report [153.3964813640593]
  Qwen3-VLは、これまでで最も有能な視覚言語モデルであり、幅広いマルチモーダルベンチマークで優れた性能を実現している。 最大256Kトークンのインターリーブコンテキストをサポートし、テキスト、画像、ビデオをシームレスに統合する。 Qwen3-VLは3つの中核柱を提供する: (i) 非常に強い純粋テキスト理解、いくつかのケースにおいて同等のテキストのみのバックボーンを超える、 (ii) テキスト入力とインターリーブされたマルチモーダル入力の両方に256Kのネイティブウィンドウを持つ堅牢な長期理解、 (iii) シングルイメージ、マルチイメージ、ビデオタスクをまたいだ高度なマルチモーダル推論。
  論文  参考訳（メタデータ） (2025-11-26T17:59:08Z)
• Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
  ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。 近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。 Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-10-06T17:10:44Z)
• SAIL-VL2 Technical Report [65.45818722427506]
  広義のマルチモーダル理解と推論のためのオープン・スイート・ビジョン・ファンデーション・モデル(LVM)であるSAIL-VL2を紹介する。 SAIL-VL2は2Bと8Bのパラメータスケールで様々な画像とビデオのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-17T14:34:02Z)
• Kwai Keye-VL 1.5 Technical Report [91.07838286692815]
  本稿では、ビデオ理解における根本的な課題を3つの重要なイノベーションを通じて解決するKeye-VL-1.5を紹介する。 まず,フレーム間の類似性に基づいて動的に計算資源を割り当てるSlow-Fastビデオ符号化方式を提案する。 次に,モデルのコンテキスト長を8Kから128Kまで体系的に拡張する4段階事前学習手法を提案する。 第3に、推論の強化と人間の嗜好の整合性に焦点を当てた総合的な後学習パイプラインを開発する。
  論文  参考訳（メタデータ） (2025-09-01T15:46:58Z)
• Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective [37.58855048653859]
  自己回帰型大言語モデル (LLM) は、多岐にわたる言語タスクを統合し、自己回帰型ビデオ生成の予備的な取り組みを刺激している。 Lumos-1は、最小限のアーキテクチャ変更で自動回帰ビデオジェネレータアーキテクチャを維持している。
  論文  参考訳（メタデータ） (2025-07-11T17:59:42Z)
• VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval [8.908777234657046]
  大規模言語モデルと視覚言語モデル(LLM/LVLM)は、様々な領域で広く普及している。 ここでは、(i)Convolutional ProjectionとFeature Refinementモジュールを通してこれらの制限に対処する新しいHD/MRフレームワークであるVideoLightsを提案する。 QVHighlights、TVSum、Charades-STAベンチマークに関する総合的な実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-12-02T14:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。