論文の概要: Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

• arxiv url: http://arxiv.org/abs/2607.26596v1
• Date: Wed, 29 Jul 2026 08:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.580203
• Title: Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution
• Title（参考訳）: Decoupled Visual Processing:Modality-Specific Transformer置換による効率的なマルチモーダル適応
• Abstract要約: マルチモーダルな大規模言語モデルのための効率的なトレーニングフレームワークとして,Decoupled Visual Processing (DVP)を提案する。 トレーニング中、単一の変圧器ブロックのみが更新され、トレーニング可能なパラメータの数が劇的に減少する。 LLaVA-1.5フレームワークの実験では、MME、POPE、ChartQAベンチマークでのDVPの競合性能が実証され、全体のパラメータのほんの一部しかトレーニングされていない。
• 参考スコア（独自算出の注目度）: 26.422874365108985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have demonstrated remarkable capabilities by integrating visual and textual understanding within a unified transformer architecture. However, fine-tuning all parameters of these models for visual instruction tuning is computationally expensive and often unnecessary, as the representation requirements for visual and textual tokens diverge significantly in the deeper layers of the network. In this paper, we propose Decoupled Visual Processing (DVP), an efficient training framework that replaces the upper decoder layers of a pretrained LLM with a lightweight, independently trainable single transformer block dedicated exclusively to visual token processing. Specifically, after shared processing through the first half of the decoder layers, visual and textual tokens are split: visual tokens are routed through a newly initialized single transformer block while textual tokens continue through the original frozen decoder layers. The two streams are then concatenated before the language modeling head. During training, only the single transformer block is updated, dramatically reducing the number of trainable parameters. Experiments on the LLaVA-1.5 framework demonstrate that DVP achieves competitive performance on MME, POPE, and ChartQA benchmarks while training only a fraction of the total parameters, suggesting that visual representations in MLLMs can be effectively learned through a decoupled, parameter-efficient pathway.
• Abstract（参考訳）: マルチモーダル・大規模言語モデル (MLLM) は、視覚的およびテキスト的理解を統合トランスフォーマーアーキテクチャに組み込むことによって、顕著な機能を示した。 しかしながら、視覚的命令チューニングのためのこれらのモデルのパラメータをすべて微調整することは、ネットワークの深い層において視覚的およびテキスト的トークンの表現要求が著しく分散するため、計算コストが高く、しばしば不要である。 本稿では,DVP(Decoupled Visual Processing)を提案する。DVP(Decoupled Visual Processing)は,事前学習したLLMの上位デコーダ層を,視覚トークン処理専用の軽量で独立的にトレーニング可能な単一トランスフォーマーブロックに置き換える,効率的なトレーニングフレームワークである。 具体的には、デコーダレイヤの前半で共有処理した後、ビジュアルトークンとテキストトークンが分割される: ビジュアルトークンは新しく初期化されたシングルトランスフォーマーブロックを介してルーティングされ、テキストトークンは元のフリーズされたデコーダレイヤを通して継続される。 2つのストリームは、言語モデリングヘッドの前に結合される。 トレーニング中、単一の変圧器ブロックのみが更新され、トレーニング可能なパラメータの数が劇的に減少する。 LLaVA-1.5フレームワークの実験では、DVPはMME、POPE、ChartQAベンチマーク上での競合性能を実証し、総パラメータのごく一部しか訓練していない。

関連論文リスト

• Let ViT Speak: Generative Language-Image Pre-training [102.76320739909421]
  GenLIPはビジョントランスフォーマー(ViT)のための最小限の生成事前学習フレームワークである 標準言語モデリングの目的を使用して、視覚トークンから直接言語トークンを予測するために、ViTをトレーニングする。 様々なマルチモーダルベンチマークの競合や優れた結果が得られる。
  論文  参考訳（メタデータ） (2026-05-01T17:51:38Z)
• Patch-as-Decodable-Token: Towards Unified Multi-Modal Vision Tasks in MLLMs [88.68484904214142]
  Patch-as-Decodable Token (PaDT)を導入し、テキストと多様な視覚出力を生成する。 PaDTの中心は、クエリイメージのビジュアルパッチ埋め込みから派生したVisual Reference Tokens (VRT)である。 MLLMモデルと比較しても,PaDTは最先端の性能を一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-10-02T12:23:57Z)
• VoxelFormer: Parameter-Efficient Multi-Subject Visual Decoding from fMRI [4.3296865400748]
  VoxelFormerは、fMRIからの視覚的デコードのためのマルチオブジェクトトレーニングを可能にする軽量トランスフォーマーアーキテクチャである。 効率的なボクセル圧縮のためのToken Merging Transformer(ToMer)と、CLIPイメージの埋め込みスペースに整合した固定サイズのニューラル表現を生成するクエリ駆動のQ-Formerを統合している。
  論文  参考訳（メタデータ） (2025-09-10T21:20:17Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
  視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。 まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。 第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
  論文  参考訳（メタデータ） (2025-04-23T18:38:18Z)
• Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models [6.467840081978855]
  マルチモーダル大言語モデル(MM-LLM)は様々なタスクで大きな成功を収めた。 主な計算負担は、処理されたテキストと視覚トークンから生じる。 視覚的CLSトークン類似度曲線の屈折点を同定する動的プルーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-02T10:49:10Z)
• Enhancing Vision-Language Model with Unmasked Token Alignment [37.12838142681491]
  本稿では,既存のCLIPモデルを利用して視覚言語表現をさらに強化する手法であるUnmasked Token Alignment (UTA)を紹介する。 UTAは、ViTモデルとCLIPテキストエンコーダを自動的に整列する凍結されたCLIPビジョンエンコーダから、未マッピングの視覚トークンを対応する画像トークンに整列させることで、ViT(Vit)を訓練する。
  論文  参考訳（メタデータ） (2024-05-29T11:48:17Z)
• TVLT: Textless Vision-Language Transformer [89.31422264408002]
  テキストレス・ビジョン・ランゲージ変換器 (TVLT) では, 同種変換器ブロックが生の視覚・音声入力を行う。 TVLTはテキストベースの様々なマルチモーダルタスクに匹敵するパフォーマンスを実現している。 その結果,低レベルの視覚・音声信号から,コンパクトで効率的な視覚言語表現を学習できる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T15:08:03Z)
• Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training [88.80694147730883]
  本稿では,多種多様なモダリティ共有コントラスト言語-画像事前学習(MS-CLIP)フレームワークについて検討する。 学習条件下では、視覚と言語信号のためのほとんど統一されたエンコーダが、より多くのパラメータを分離する他のすべてのバリエーションより優れていることが観察された。 我々のアプローチは、24の下流視覚タスクのコレクションに基づいて、線形探索においてバニラCLIPを1.6ポイント上回ります。
  論文  参考訳（メタデータ） (2022-07-26T05:19:16Z)
• All in One: Exploring Unified Video-Language Pre-training [44.22059872694995]
  そこで本研究では,生のビデオとテキストの信号を共同表現に組み込んだ,エンドツーエンドのビデオ言語モデルであるtextitall-in-one Transformerを提案する。 コードと事前訓練されたモデルはhttps://github.com/showlab/all-in-one.comでリリースされた。
  論文  参考訳（メタデータ） (2022-03-14T17:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。