論文の概要: MLLM-Microscope: Unlocking Hidden Structure Within Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2606.00909v1
• Date: Sat, 30 May 2026 22:20:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.971772
• Title: MLLM-Microscope: Unlocking Hidden Structure Within Multimodal Large Language Models
• Title（参考訳）: MLLM-Microscope:マルチモーダル大言語モデル内の隠れ構造をアンロックする
• Abstract要約: MLLM(Multimodal Large Language Models)内の隠れ表現を解析するための新しいシステムであるMLLM-Microscopeを提案する。 LLaVA-NeXTとOmniFusionの2つの最先端MLLMを評価した。 両モダリティのトークンの主ストリームと残留ストリームの両方が、変圧器層にまたがる高い線形挙動を示すことがわかった。
• 参考スコア（独自算出の注目度）: 0.17188280334580194
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This work presents MLLM-Microscope, a novel system designed for analyzing the hidden representations within Multimodal Large Language Models (MLLMs). Our system evaluates the linearity, intrinsic dimension, and anisotropy of multimodal token embeddings across transformer layers. Utilizing the ScienceQA dataset, we evaluate two state-of-the-art MLLMs, LLaVA-NeXT and OmniFusion. We find that both the main and residual streams for tokens of both modalities exhibit highly linear behaviors across transformer layers. However, LLaVA-NeXT's image tokens reveal a slight decline in linearity, whereas OmniFusion's remain consistent. Image token dimensions in OmniFusion remain consistently higher across layers compared to LLaVA-NeXT. Also, the OmniFusion's anisotropy is observed to stay consistently low throughout the layers. These findings suggest that the inner workings of MLLMs highly depend on the nature of modality fusion performed before passing the token sequence into LLM. This and other new potential insights obtainable from our system are surely capable of enhancing our understanding of the inner workings of MLLMs, informing future model design and optimization.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)内の隠れ表現を解析するための新しいシステムであるMLLM-Microscopeを提案する。 本システムは, 変圧器層にまたがる多モードトークンの線形性, 固有次元, 異方性を評価する。 その結果,ScienceQAデータセットを用いて2つの最先端MLLM,LLaVA-NeXT,OmniFusionを評価した。 両モダリティのトークンの主ストリームと残留ストリームの両方が、変圧器層にまたがる高い線形挙動を示すことがわかった。 しかし、LLaVA-NeXTの画像トークンは線形性がわずかに低下しているのに対して、OmniFusionは一貫している。 OmniFusionのイメージトークン次元は、LLaVA-NeXTに比べて、層間で一貫して高い。 また、オムニフュージョンの異方性は、層全体で一貫して低いままである。 これらの結果から,MLLMの内部構造は,トークン配列をLSMに渡す前に行われるモダリティ融合の性質に大きく依存していることが示唆された。 この他,我々のシステムから得られる新たな潜在的な洞察は,MLLMの内部動作の理解を深め,将来のモデル設計と最適化を実現することができる。

関連論文リスト

• Beyond Text-Dominance: Understanding Modality Preference of Omni-modal Large Language Models [73.89069781682032]
  我々は、Omni-Modal Large Language Models (OLLM) のモダリティ嗜好を定量化する。 従来のVLMの「テキスト・マディナンス」とは異なり、ほとんどのOLLMは視覚的嗜好が顕著である。 私たちの仕事は、機械的な理解と、より信頼できるOLLMを構築するための実践的なツールの両方を提供します。
  論文  参考訳（メタデータ） (2026-04-18T08:25:52Z)
• From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
  VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。 CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
  論文  参考訳（メタデータ） (2026-01-15T18:59:10Z)
• Segmentation as A Plug-and-Play Capability for Frozen Multimodal LLMs [9.6979217203587]
  LENS(Leveraging kEypoiNts for MLLMs)は,新しいプラグアンドプレイソリューションである。 LENSは軽量で訓練可能なヘッドを完全に凍結されたMLLMに取り付ける。 セグメンテーション性能は、リトレーニングベースの手法と競合するか、優れている。
  論文  参考訳（メタデータ） (2025-10-19T10:21:01Z)
• NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints [100.02131897927484]
  本稿では,Multimodal Large Language Models(MLLM)のエンドツーエンドなネイティブトレーニングに焦点を当てる。 そこで我々は,NaViLと呼ばれるネイティブMLLMと,シンプルで費用対効果の高いレシピを組み合わせて提案する。 14のマルチモーダルベンチマークによる実験結果から,既存のMLLMに対するNaViLの競合性能が確認された。
  論文  参考訳（メタデータ） (2025-10-09T17:59:37Z)
• Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents [55.82787697101274]
  Bifrost-1は、事前訓練されたマルチモーダルLLM(MLLM)と拡散モデルをブリッジする統合フレームワークである。 予め訓練したMLLMと拡散モデルとパッチレベルのCLIPラプタントをシームレスに統合することにより,高忠実度制御可能な画像生成を実現する。 実験の結果,Bifrost-1は視覚的忠実度やマルチモーダル理解の観点から,従来の手法と同等あるいは優れた性能を達成できた。
  論文  参考訳（メタデータ） (2025-08-08T02:38:47Z)
• DeepMLF: Multimodal language model with learnable tokens for deep fusion in sentiment analysis [62.31018417955254]
  DeepMLFは、深層融合に適した学習可能なトークンを持つ新しいマルチモーダル言語モデルである。 以上の結果から,より深層核融合により,既存のアプローチよりも優れた核融合深度 (5-7) が得られることが確認された。
  論文  参考訳（メタデータ） (2025-04-15T11:28:02Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。 また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models [19.213774611556]
  MLLM(Multi-modal large language model)は、言語情報と視覚情報を統合したものである。 MLLMの革新的展望にもかかわらず、推論能力に対する我々の理解は限られている。 本研究では,オープンソースおよびクローズドソースMLLMの非言語的抽象的推論能力を評価する。
  論文  参考訳（メタデータ） (2024-01-22T16:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。