論文の概要: Seeing Beyond Words: Self-Supervised Visual Learning for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2512.15885v1
• Date: Wed, 17 Dec 2025 19:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.774867
• Title: Seeing Beyond Words: Self-Supervised Visual Learning for Multimodal Large Language Models
• Title（参考訳）: 単語を超えて見る:マルチモーダルな大規模言語モデルのための自己監督型ビジュアルラーニング
• Authors: Davide Caffagni, Sara Sarto, Marcella Cornia, Lorenzo Baraldi, Pier Luigi Dovesi, Shaghayegh Roohi, Mark Granroth-Wilding, Rita Cucchiara,
• Abstract要約: JARVISは、MLLMの自己教師型視覚強調のためのJEPAにインスパイアされたフレームワークである。 JARVISは,MLLMの自己教師型視覚強調のためのJEPAに着想を得たフレームワークである。
• 参考スコア（独自算出の注目度）: 53.06230963851451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have recently demonstrated impressive capabilities in connecting vision and language, yet their proficiency in fundamental visual reasoning tasks remains limited. This limitation can be attributed to the fact that MLLMs learn visual understanding primarily from textual descriptions, which constitute a subjective and inherently incomplete supervisory signal. Furthermore, the modest scale of multimodal instruction tuning compared to massive text-only pre-training leads MLLMs to overfit language priors while overlooking visual details. To address these issues, we introduce JARVIS, a JEPA-inspired framework for self-supervised visual enhancement in MLLMs. Specifically, we integrate the I-JEPA learning paradigm into the standard vision-language alignment pipeline of MLLMs training. Our approach leverages frozen vision foundation models as context and target encoders, while training the predictor, implemented as the early layers of an LLM, to learn structural and semantic regularities from images without relying exclusively on language supervision. Extensive experiments on standard MLLM benchmarks show that JARVIS consistently improves performance on vision-centric benchmarks across different LLM families, without degrading multimodal reasoning abilities. Our source code is publicly available at: https://github.com/aimagelab/JARVIS.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は最近、視覚と言語を接続する際、印象的な能力を示したが、基本的な視覚的推論タスクの習熟度は依然として限られている。 この制限は、MLLMが主に主観的かつ本質的に不完全な監督信号を構成するテキスト記述から視覚的理解を学ぶという事実に起因している。 さらに、大量のテキストのみの事前学習に比べて、マルチモーダル・インストラクション・チューニングの質素なスケールは、MLLMを視覚的詳細を見落としながら、言語前処理に適合させてしまう。 MLLMの自己教師型視覚強調のためのJARVISというJEPAにインスパイアされたフレームワークを紹介する。 具体的には、I-JEPA学習パラダイムをMLLMトレーニングの標準的なビジョン言語アライメントパイプラインに統合する。 提案手法では,LLMの初期レイヤとして実装された予測器を学習しながら,文脈や目標エンコーダとして凍結視覚基盤モデルを活用することで,言語にのみ依存せずに画像から構造的・意味的規則性を学ぶ。 標準MLLMベンチマークの大規模な実験により、JARVISはマルチモーダル推論能力を低下させることなく、異なるLLMファミリーにわたるビジョン中心ベンチマークのパフォーマンスを一貫して改善することが示された。 私たちのソースコードは、https://github.com/aimagelab/JARVIS.comで公開されています。

関連論文リスト

• LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [72.02635550088546]
  この研究は、大規模言語モデル(LLM)がCLIPの機能をどのように強化するか、特により長く複雑なイメージキャプションを処理するために検討する。 キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラスト・ファインチューニング・フレームワークを導入し,LLM出力の識別品質を大幅に向上させた。 提案手法はLoRA法よりも優れ,より優れた性能で4倍近い高速トレーニングを実現している。
  論文  参考訳（メタデータ） (2024-11-07T18:59:16Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)
• SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs [31.88022265176855]
  Supervised Embedding Alignment (SEA) は、事前トレーニング中により正確な視覚的テキストアライメントを可能にするトークンレベルのアライメント手法である。 包括的分析により,マルチモーダル統合におけるアダプタの役割について重要な知見が得られた。
  論文  参考訳（メタデータ） (2024-08-21T17:58:02Z)
• Visualization Literacy of Multimodal Large Language Models: A Comparative Study [12.367399155606162]
  MLLM(Multimodal large language model)は、MLLM(Multimodal large language model)とLLM(LLM)の固有の能力を組み合わせて、マルチモーダルコンテキストを推論する。 ビジュアライゼーションにおける最近の多くの研究は、可視化結果を理解し、解釈し、自然言語のユーザに対して視覚化の内容を説明するMLLMの能力を実証している。 本研究では,可視化リテラシーの概念を利用してMLLMを評価することにより,そのギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-06-24T17:52:16Z)
• Towards Multimodal In-Context Learning for Vision & Language Models [21.69457980865084]
  VLM(State-of-the-the-art Vision-Language Models)は、ビジョンと言語のモダリティを基盤としている。 本稿では, 効果的なデータ混合を用いた, 単純かつ驚くほど効果的なマルチターンカリキュラムベースの学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T13:53:37Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• From CLIP to DINO: Visual Encoders Shout in Multi-modal Large Language Models [36.41816380074965]
  大規模言語モデル(MLLM)における視覚エンコーダの有効性について検討する。 以上の結果から,CLIPの浅層構造は,接地や領域理解といったきめ細かいタスクに特に有利であることがわかった。 我々は,CLIPとDINOをMergingと統合したシンプルな機能統合戦略であるCOMMを提案する。
  論文  参考訳（メタデータ） (2023-10-13T02:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。