論文の概要: PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.19534v1
• Date: Wed, 17 Jun 2026 19:27:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.503273
• Title: PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models
• Title（参考訳）: 知覚DLM:マルチモーダル拡散言語モデルを用いた並列領域知覚
• Authors: Yueyi Sun, Yuhao Wang, Jason Li, Ye Tian, Tao Zhang, Jacky Mai, Yihan Wang, Haochen Wang, Jinbin Bai, Ling Yang, Yunhai Tong,
• Abstract要約: PerceptionDLMは、効率的な並列領域認識に最適化された多モード拡散言語モデルである。 本稿では,複数のマスキング領域の同時認識を実現するために,効率的なプロンプトと構造化されたアテンションマスキングを導入する。 この結果から,マルチモーダル拡散言語モデルの有効性が示唆された。
• 参考スコア（独自算出の注目度）: 45.78343775270807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) have achieved remarkable progress in visual understanding tasks. However, most existing MLLMs rely on autoregressive generation, which limits their efficiency for perception tasks that require captioning multiple regions. In this work, we propose PerceptionDLM, a multimodal diffusion language model optimized for efficient parallel region perception. Built upon PerceptionDLM-Base, a strong foundational baseline that achieves state-of-the-art performance among open-source diffusion MLLMs, our architecture fully leverages the parallel decoding nature of DLMs. Specifically, we introduce efficient prompting and structured attention masking to enable simultaneous perception of multiple masked regions, allowing the model to generate region descriptions in parallel at both the sequence and token levels. This design significantly improves inference efficiency compared with existing approaches that process regions sequentially. To systematically evaluate the parallelism property of visual perception capability for DLMs, we construct a new Parallel Detailed Localized Captioning Benchmark (ParaDLC-Bench) by scaling the DLC-Bench to include multiple region masks per image, enabling joint evaluation of both caption quality and inference efficiency. Experiments demonstrate that PerceptionDLM maintains competitive performance in region captioning while achieving substantial speed improvements for multi-region perception tasks. Our results highlight the potential of multimodal diffusion language models for efficient, parallel visual perception. To the best of our knowledge, we are the first to achieve parallel region caption and perception by leveraging the advantages of diffusion language models. Code, models, and datasets are released.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は視覚理解タスクにおいて顕著な進歩を遂げている。 しかし、既存のMLLMの多くは自己回帰生成に依存しており、複数の領域のキャプションを必要とする知覚タスクの効率を制限している。 本研究では,並列領域認識に最適化された多モーダル拡散言語モデルPerceptionDLMを提案する。 PerceptionDLM-Baseは,オープンソース拡散MLLMの最先端性能を実現する基盤となる強力なベースラインであり,DLMの並列復号性を完全に活用するアーキテクチャである。 具体的には、複数のマスキング領域の同時認識を可能にするために、効率的なプロンプトと構造化されたアテンションマスキングを導入し、シーケンスレベルとトークンレベルの両方で並列に領域記述を生成する。 この設計は、領域を逐次処理する既存のアプローチと比較して、推論効率を大幅に改善する。 DLMの視覚知覚能力の並列特性を体系的に評価するために,DLC-Benchを画像毎に複数の領域マスクを含むように拡張し,キャプションの品質と推論効率を両立させることにより,Parallel Detailed Localized Captioning Benchmark(ParaDLC-Bench)を構築した。 実験の結果,PerceptionDLMは領域キャプションの競合性能を維持しつつ,複数領域認識タスクの大幅な高速化を実現していることがわかった。 この結果から,マルチモーダル拡散言語モデルの有効性が示唆された。 我々の知る限りでは、拡散言語モデルの利点を生かして、並列領域のキャプションと知覚を初めて達成している。 コード、モデル、データセットがリリースされる。

関連論文リスト

• ByDeWay: Boost Your multimodal LLM with DEpth prompting in a Training-Free Way [8.242020781632801]
  ByDeWayは、MLLM(Multimodal Large Language Models)のパフォーマンスを向上させるために設計された、トレーニング不要のフレームワークである。 ByDeWayはLayered-Depth-Based Prompting(LDP)と呼ばれる新しいプロンプト戦略を使っている シーンを単眼深度推定を用いて最も近い中距離層と最も遠い層に分割し、接地された視覚言語モデルで領域固有のキャプションを生成する。
  論文  参考訳（メタデータ） (2025-07-11T15:21:49Z)
• Perceive Anything: Recognize, Explain, Caption, and Segment Anything in Images and Videos [53.723410664944566]
  本稿では,画像やビデオの総合的な領域レベルの視覚的理解のためのフレームワークであるPerceive Anything Model(PAM)を提案する。 提案手法は,Large Language Models (LLMs) を統合することで,強力なセグメンテーションモデルSAM 2を拡張し,オブジェクトセグメンテーションの同時実現を可能にする。 SAM 2のリッチな視覚的特徴をマルチモーダルトークンに効率的に変換するために、Semantic Perceiverという重要なコンポーネントが導入されている。
  論文  参考訳（メタデータ） (2025-06-05T17:51:39Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• ModaVerse: Efficiently Transforming Modalities with LLMs [25.49713745405194]
  ModaVerseはマルチモーダルな大規模言語モデルで、様々なモダリティにまたがってコンテンツを解釈・変換できる。 自然言語のレベルで直接動作する新しい入出力(I/O)アライメント機構を提案する。
  論文  参考訳（メタデータ） (2024-01-12T06:28:54Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。