Kwai Keye-VL-2.0 Technical Report
Abstractの概要
Kwai Keye-VL-2.0-30B-A3Bは、長時間の動画理解とエージェント機能の強化を目的とした、オープンソースのマルチモーダルMixture-of-Experts（MoE）基盤モデルである。本レポートは2つの技術的テーマに焦点を当てている。1つは、GQA対応のDeepSeek Sparse Attention設計によりマルチモーダルコンテキストの処理を256Kトークンまで拡張すること、もう1つは、Context-RLおよびVideo-RLとともにクロスモーダル・マルチティーチャー・オンポリシー蒸留（Cross-Modal Multi-Teacher On-Policy Distillation）を用いて多様な事後学習機能を統合することである。また、このシステムは、ネイティブ解像度の視覚エンコーディング、統合された画像/動画処理、および可変長マルチモーダルワークロードに最適化された学習・推論インフラを使用している。評価は、長時間動画理解、時間的グラウンディング、コードおよびツール使用エージェント、および一般的な視覚言語ベンチマークにおよぶ。
新規性
本論文は、DeepSeek Sparse AttentionをGQAベースのマルチモーダルアーキテクチャに初めて適応させ、長時間の動画における損失のない256Kコンテキスト処理を可能にしたと主張している。また、破滅的忘却を軽減しつつ、テキスト、画像、動画、およびエージェントタスクにわたる多様なRL学習済み教師モデルを統合するクロスモーダル・マルチティーチャー・オンポリシー蒸留を導入している。
成果
比較対象のシステムにおいて、本モデルはLongVideoBench、Video-MME-v2の精度、TimeLensの時間的グラウンディングの全3サブセット、tau^2-Bench、VitaBenchで最高の結果を達成する一方で、MLVU、Video-MME、Video-MMMU、コーディングベンチマーク、および広範な視覚言語評価でも競争力を保っている。またレポートによると、Video RLにより一般的な動画ベンチマークの性能が約1パーセントポイント向上し、インフラストラクチャはロングコンテキスト使用における推論および学習効率の大幅な向上をもたらすとしている。
論文の注目点
- Keye-VL-2.0は、アクティブパラメータがわずか3Bの30BクラスMoEバックボーン、ネイティブ解像度の視覚エンコーディング、および統合された画像/動画トークン化を組み合わせることで、詳細なマルチモーダル推論をサポートしている。
- 特有のロングコンテキスト設計は、Lightning Indexerとトップkトークン選択を伴うGQAスパース集約を使用しており、256Kのマルチモーダルコンテキストをサポートしつつ、アテンションの計算量をO(L^2)からO(Lk)へと削減している。
- その事後学習スタックは、SFT、合成CoT、一般的なRL、特化型RL、Video RL、およびMOPDを組み合わせることで、動画、推論、コーディング、ツール使用、OCR、グラウンディング、カウンター機能などを1つのモデルに統合している。
参考リンク
- arXiv: https://arxiv.org/abs/2606.10651v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2606.10651v1
- Hugging Face Papers: https://huggingface.co/papers/2606.10651