論文の概要: Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models

• arxiv url: http://arxiv.org/abs/2609.23860v1
• Date: Sun, 20 Sep 2026 20:23:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.953218
• Title: Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルに向けた医用ビジュアルエンコーダの事前学習
• Abstract要約: MLLM(Multimodal Large Language Models)は、CLIPで事前訓練されたビジュアルエンコーダを再利用する。 我々は、Open-PMC-300K上で視覚エンコーダを事前訓練し、VRAD-QAおよびSLAKE上で得られたエンコーダを評価する。 我々のクロスLL転送実験は、自己回帰LDMインタフェースに対する事前学習されたビジュアルエンコーダの価値を示す。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) commonly reuse visual encoders pretrained with CLIP, although the features of these ViTs are ultimately consumed by autoregressive LLMs. We refer to this mismatch as the semantic-interface gap and introduce MedMLIP, a framework that pretrains the visual encoder through report generation with a frozen LLM, while employing Local Relational Distillation (LRD) to preserve relationships among visual patches to avoid visual collapse. We pretrain MedMLIP on IU-Xray and Open-PMC-300K and evaluate the resulting encoders on VQA-RAD and SLAKE. Only the ViT is transferred, while the guiding LLM and projector are replaced, allowing us to assess cross-LLM transferability. Our cross-LLM transfer experiments demonstrate the value of pretraining visual encoders for their autoregressive LLM interface while trying to preserve more fine-grained visual information. Code and the pretrained model are available at https://github.com/SkyCol/MedMLIP
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、一般的にCLIPで事前訓練されたビジュアルエンコーダを再利用するが、これらのViTの特徴は最終的に自己回帰型LLMによって消費される。 このミスマッチをセマンティック・インタフェースのギャップと呼び、凍結LDMによるレポート生成を通じて視覚エンコーダを事前訓練するフレームワークであるMedMLIPを導入し、また、視覚的崩壊を避けるために、ローカルリレーショナル蒸留(LRD)を用いて視覚パッチ間の関係を保存する。 IU-Xray と Open-PMC-300K で MedMLIP をプレトレーニングし,VQA-RAD と SLAKE のエンコーダの評価を行った。 誘導LDMとプロジェクタは置き換えられ、インターLLMの転送性を評価することができる。 我々は,より微細な視覚情報を保存しつつ,自己回帰型LLMインタフェースのための事前学習型視覚エンコーダの有効性を実証した。 コードと事前トレーニングされたモデルはhttps://github.com/SkyCol/MedMLIPで入手できる。

関連論文リスト

• Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents [55.82787697101274]
  Bifrost-1は、事前訓練されたマルチモーダルLLM(MLLM)と拡散モデルをブリッジする統合フレームワークである。 予め訓練したMLLMと拡散モデルとパッチレベルのCLIPラプタントをシームレスに統合することにより,高忠実度制御可能な画像生成を実現する。 実験の結果,Bifrost-1は視覚的忠実度やマルチモーダル理解の観点から,従来の手法と同等あるいは優れた性能を達成できた。
  論文  参考訳（メタデータ） (2025-08-08T02:38:47Z)
• Prior Knowledge Integration via LLM Encoding and Pseudo Event Regulation for Video Moment Retrieval [23.94611751368491]
  本稿では,大言語モデル(LLM)を一般知識の統合に活用し,擬似イベントを時間的コンテンツ配信の先駆けとして活用する可能性について検討する。 これらの制限を克服するために,デコーダの代わりにLLMエンコーダを提案する。 LLMエンコーダを既存のVMRアーキテクチャ、特に核融合モジュールに組み込むための一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-21T04:39:06Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• Frozen Transformers in Language Models Are Effective Visual Encoder Layers [26.759544759745648]
  大きな言語モデル(LLM)は、言語がないときに純粋に視覚的なタスクに対して驚くほど強力なエンコーダである。 我々の研究は、コンピュータビジョンタスクにLLMを活用することの限界を推し進めている。 視覚符号化における事前学習LLMの有効性を説明するために,情報フィルタリング仮説を提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:59:05Z)
• LLM-CXR: Instruction-Finetuned LLM for CXR Image Understanding and Generation [51.08810811457617]
  LLMにおける視覚言語アライメントは、マルチモーダル推論とビジュアルIOを可能にするために活発に研究されている。 医用画像の視覚言語能力を得るために,テキストのみにLLMを指導する手法を開発した。 このアプローチで訓練したLLM-CXRは,CXR理解タスクと生成タスクの両方において,より優れた画像テキストアライメントを示す。
  論文  参考訳（メタデータ） (2023-05-19T07:44:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。