論文の概要: DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding

• arxiv url: http://arxiv.org/abs/2412.10302v1
• Date: Fri, 13 Dec 2024 17:37:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:37:49.057254
• Title: DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
• Title（参考訳）: DeepSeek-VL2:Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding
• Abstract要約: We present DeepSeek-VL2, a Advanced series of large Mixture-of-Experts (MoE) Vision-Language Models。 ビジョンコンポーネントには、アスペクト比の異なる高解像度画像を処理するために設計された動的タイリングビジョン符号化戦略が組み込まれている。 言語コンポーネントについては、Multi-head Latent AttentionメカニズムでDeepSeekMoEモデルを活用します。
• 参考スコア（独自算出の注目度）: 39.14141055325595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present DeepSeek-VL2, an advanced series of large Mixture-of-Experts (MoE) Vision-Language Models that significantly improves upon its predecessor, DeepSeek-VL, through two key major upgrades. For the vision component, we incorporate a dynamic tiling vision encoding strategy designed for processing high-resolution images with different aspect ratios. For the language component, we leverage DeepSeekMoE models with the Multi-head Latent Attention mechanism, which compresses Key-Value cache into latent vectors, to enable efficient inference and high throughput. Trained on an improved vision-language dataset, DeepSeek-VL2 demonstrates superior capabilities across various tasks, including but not limited to visual question answering, optical character recognition, document/table/chart understanding, and visual grounding. Our model series is composed of three variants: DeepSeek-VL2-Tiny, DeepSeek-VL2-Small and DeepSeek-VL2, with 1.0B, 2.8B and 4.5B activated parameters respectively. DeepSeek-VL2 achieves competitive or state-of-the-art performance with similar or fewer activated parameters compared to existing open-source dense and MoE-based models. Codes and pre-trained models are publicly accessible at https://github.com/deepseek-ai/DeepSeek-VL2.
• Abstract（参考訳）: We present DeepSeek-VL2, a advanced series of large Mixture-of-Experts (MoE) Vision-Language Models。 ビジョンコンポーネントには、アスペクト比の異なる高解像度画像を処理するために設計された動的タイリングビジョン符号化戦略が組み込まれている。 言語コンポーネントでは、キーバリューキャッシュを潜在ベクトルに圧縮するMulti-head Latent Attentionメカニズムを用いてDeepSeekMoEモデルを活用し、効率的な推論と高いスループットを実現する。 改良された視覚言語データセットに基づいてトレーニングされたDeepSeek-VL2は、視覚的質問応答、光学的文字認識、文書/テーブル/チャート理解、視覚的接地など、さまざまなタスクにまたがる優れた機能を示している。 モデルシリーズは,DeepSeek-VL2-Tiny,DeepSeek-VL2-Small,DeepSeek-VL2の3種類で構成され,それぞれ1.0B,2.8B,4.5Bが活性化された。 DeepSeek-VL2は、既存のオープンソースの高密度モデルやMoEベースのモデルと比較して、類似または少ないアクティベートパラメータで、競合や最先端のパフォーマンスを達成する。 コードと事前訓練されたモデルはhttps://github.com/deepseek-ai/deepSeek-VL2で公開されている。

関連論文リスト

• Kwai Keye-VL-2.0 Technical Report [53.82434681649277]
  Keye-VL-2.0は、長期ビデオ理解とエージェントインテリジェンスを促進するために設計されたマルチモーダル基盤モデルである。 DeepSeek Sparse Attention (DSA)をGQAベースのマルチモーダルアーキテクチャに適応したのは,これが初めてである。 コンテクスト-RLとビデオ-RLを併用したMOPD(Cross-Modal Multi-Teacher On-Policy Distillation)は破滅的忘れのアルゴリズム的ジレンマを克服する。
  論文  参考訳（メタデータ） (2026-06-09T09:58:08Z)
• DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence [240.40422202055993]
  We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language model。 DeepSeek-V4シリーズには、アーキテクチャと最適化のいくつかの重要なアップグレードが含まれている。 DeepSeek-V4シリーズは、長いコンテキストシナリオにおいて非常に効率的である。
  論文  参考訳（メタデータ） (2026-04-26T14:49:33Z)
• Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models [66.96421290733126]
  VLA(Vision-Language-Action)モデルは、ロボット操作のための有望なパラダイムとして登場した。 我々はtextbfVision-Language Mixture-of-Transformers (VL-MoT) フレームワーク上に構築した textbfDeepVision-VLA を提案する。 DeepVision-VLAは、シミュレーションされたタスクと実世界のタスクで、それぞれ9.0%と7.5%の先行の最先端メソッドより優れている。
  論文  参考訳（メタデータ） (2026-03-16T17:59:54Z)
• SAIL-VL2 Technical Report [65.45818722427506]
  広義のマルチモーダル理解と推論のためのオープン・スイート・ビジョン・ファンデーション・モデル(LVM)であるSAIL-VL2を紹介する。 SAIL-VL2は2Bと8Bのパラメータスケールで様々な画像とビデオのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-17T14:34:02Z)
• LLaVA-SP: Enhancing Visual Representation with Visual Spatial Tokens for MLLMs [4.478610052538001]
  LLaVA-SPは、視覚的表現を高めるために、元の視覚的トークンに6つの空間的視覚的トークンのみを付加する。 LLaVA-SP-CroppingとLLaVA-SP-Poolingは適応的なプールによってグローバルなセマンティクスをキャプチャする。
  論文  参考訳（メタデータ） (2025-07-01T07:20:11Z)
• Manager: Aggregating Insights from Unimodal Experts in Two-Tower VLMs and MLLMs [61.903626952650605]
  2tower Vision-Language Models (VLM) は、様々な下流VLタスクに強い性能を示す。 我々は,訓練済みの未学習専門家のさまざまなレベルからの洞察を適応的に集約する,軽量で効率的で効果的なプラグインであるManageerを提案する。
  論文  参考訳（メタデータ） (2025-06-13T07:16:41Z)
• LLaVA-UHD v2: an MLLM Integrating High-Resolution Semantic Pyramid via Hierarchical Window Transformer [110.39467860530819]
  視覚変換器 (ViT) は視覚符号化のための多モード大言語モデル (MLLM) に広く用いられている。 我々は、よく設計された視覚言語プロジェクタを導入することで、高度な知覚能力を持つMLLMであるLLaVA-UHD v2を提案する。 ハイウィン変換器は、構築した高精細なセマンティックピラミッドを組み込むことにより、MLLMの多様なマルチモーダルな視覚的粒度を捕捉する能力を高める。
  論文  参考訳（メタデータ） (2024-12-18T14:07:46Z)
• Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling [121.10935982414567]
  InternVL 2.5は、InternVL 2.0上に構築された高度マルチモーダル大規模言語モデル(MLLM)シリーズである。 InternVL 2.5は、GPT-4oやClaude-3.5-Sonnetといった主要な商用モデルと競合する競争力を持つ。 このモデルが、マルチモーダルAIシステムの開発と適用のための新しい標準を設定することで、オープンソースコミュニティに貢献できることを願っています。
  論文  参考訳（メタデータ） (2024-12-06T18:57:08Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
  我々は、幅広い下流タスクを扱える普遍的な埋め込みモデルを構築している。 1 MMEB(Massive Multimodal Embedding Benchmark)は、4 つのメタタスク(分類、視覚的質問応答、マルチモーダル検索、視覚的グラウンド)と36 つのデータセット(20 のトレーニングと16 の評価データセットを含む)と、2 の VLM2Vec (Vision-Language Model -> Vector) を含む。
  論文  参考訳（メタデータ） (2024-10-07T16:14:05Z)
• Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution [82.38677987249348]
  本稿では,従来の視覚処理における既定分解能アプローチを再定義するQwen2-VLシリーズを提案する。 Qwen2-VLでは、さまざまな解像度の画像を異なる数のビジュアルトークンに動的に処理できるNaive Dynamic Resolutionメカニズムが導入されている。 また、Multimodal Rotary Position Embedding (M-RoPE)を統合し、テキスト、画像、ビデオ間で位置情報の効果的な融合を容易にする。
  論文  参考訳（メタデータ） (2024-09-18T17:59:32Z)
• DeepSeek-VL: Towards Real-World Vision-Language Understanding [24.57011093316788]
  本稿では、実世界のビジョンと言語理解アプリケーションのためのオープンソースのVision-Language(VL)モデルであるDeepSeek-VLを紹介する。 当社のアプローチは,3つの重要な側面に基づいて構成されています。 実際のユーザシナリオからユースケース分類を作成し、インストラクションチューニングデータセットを構築します。
  論文  参考訳（メタデータ） (2024-03-08T18:46:00Z)
• Self-Adapting Large Visual-Language Models to Edge Devices across Visual Modalities [11.53488611812612]
  近年のVision-Language(VL)モデルの進歩は、エッジデバイスへの展開への関心を喚起している。 We introduced EdgeVL, a novel framework that seamlessly integrates dual-modality knowledge distillation and Quantization-aware contrastive learning。 私たちの研究は、エッジデプロイメントに大規模なVLモデルを適応するための最初の体系的な取り組みであり、複数のデータセットで最大15.4%の精度向上と、最大93倍のモデルサイズ削減を示している。
  論文  参考訳（メタデータ） (2024-03-07T21:34:40Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。