論文の概要: LLaDA-MedV: Exploring Large Language Diffusion Models for Biomedical Image Understanding

• arxiv url: http://arxiv.org/abs/2508.01617v1
• Date: Sun, 03 Aug 2025 06:46:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.970161
• Title: LLaDA-MedV: Exploring Large Language Diffusion Models for Biomedical Image Understanding
• Title（参考訳）: LLaDA-MedV:バイオメディカルイメージ理解のための大規模言語拡散モデルの探索
• Authors: Xuanzhao Dong, Wenhui Zhu, Xiwen Chen, Zhipeng Wang, Peijie Qiu, Shao Tang, Xin Li, Yalin Wang,
• Abstract要約: 視覚指導による生体画像理解に適した,最初の大規模言語拡散モデルである textbfLLaDA-MedV を紹介する。 LLaDA-MedVはLLaVA-Medより7.855%、LLaDA-Vより1.867%の相対的な性能向上を実現している。
• 参考スコア（独自算出の注目度）: 5.444284442577259
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Autoregressive models (ARMs) have long dominated the landscape of biomedical vision-language models (VLMs). Recently, masked diffusion models such as LLaDA have emerged as promising alternatives, yet their application in the biomedical domain remains largely underexplored. To bridge this gap, we introduce \textbf{LLaDA-MedV}, the first large language diffusion model tailored for biomedical image understanding through vision instruction tuning. LLaDA-MedV achieves relative performance gains of 7.855\% over LLaVA-Med and 1.867\% over LLaDA-V in the open-ended biomedical visual conversation task, and sets new state-of-the-art accuracy on the closed-form subset of three VQA benchmarks: 84.93\% on VQA-RAD, 92.31\% on SLAKE, and 95.15\% on PathVQA. Furthermore, a detailed comparison with LLaVA-Med suggests that LLaDA-MedV is capable of generating reasonably longer responses by explicitly controlling response length, which can lead to more informative outputs. We also conduct an in-depth analysis of both the training and inference stages, highlighting the critical roles of initialization weight selection, fine-tuning strategies, and the interplay between sampling steps and response repetition. The code and model weight is released at https://github.com/LLM-VLM-GSL/LLaDA-MedV.
• Abstract（参考訳）: 自己回帰モデル(ARM)は長年、バイオメディカルビジョン言語モデル(VLM)のランドスケープを支配してきた。 近年、LLaDAのようなマスク拡散モデルが有望な代替品として登場したが、バイオメディカル領域でのそれらの応用はいまだに未発見のままである。 このギャップを埋めるために,視覚指導による生体画像理解に適した,最初の大規模言語拡散モデルである \textbf{LLaDA-MedV} を導入する。 LLaDA-MedVは、LLaVA-Medより7.855\%、LLaDA-Vより1.867\%の相対的なパフォーマンス向上を実現し、3つのVQAベンチマークのクローズドフォームサブセットに新しい最先端の精度を設定する。 さらに、LLaVA-MedVとの詳細な比較では、LLaDA-MedVは応答長を明示的に制御することで合理的に長い応答を生成できるため、より情報的な出力につながることが示唆されている。 また,初期化ウェイト選択,微調整戦略,サンプリングステップと応答繰り返しの相互作用といった重要な役割を強調し,トレーニングと推論段階の両方を詳細に分析する。 コードとモデルウェイトはhttps://github.com/LLM-VLM-GSL/LLaDA-MedVで公開されている。

関連論文リスト

• LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning [71.98260064022452]
  LLaDA-Vは,視覚的インストラクションチューニングとマスク付き拡散モデルを統合した,純粋拡散に基づくマルチモーダル言語モデル(MLLM)である。 代表的な大規模言語拡散モデルであるLLaDAに基づいて構築されたLLaDA-Vには、視覚的特徴を言語埋め込み空間に投影するビジョンエンコーダとコネクタが組み込まれている。
  論文  参考訳（メタデータ） (2025-05-22T17:23:26Z)
• MedM-VL: What Makes a Good Medical LVLM? [17.94998411263113]
  大規模視覚言語モデル(LVLM)は、複雑な医療課題を解決するための新しいソリューションを提供する。 2次元および3次元の医療用LVLMのモデルアーキテクチャとトレーニング戦略を探求するために、人気のあるLLaVAフレームワークを構築した。 MedM-VL-2D, MedM-VL-CT-Chest, MedM-VL-CT-Chestの2つの事前訓練モデルをリリースする。
  論文  参考訳（メタデータ） (2025-04-06T01:44:46Z)
• EXGRA-MED: Extended Context Graph Alignment for Medical Vision- Language Models [69.40730368630003]
  医療用AIにおける視覚言語統合のための新しいフレームワークであるEXGRA-MEDを紹介する。 画像、命令応答、拡張キャプションを共同で調整し、セマンティックグラウンドとクロスモーダルコヒーレンスを前進させる。 LLAVA-MEDのパフォーマンスを10%の事前トレーニングデータで比較し、VQA-RADで20.13%向上し、フルデータパフォーマンスに近づいた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• MedTrinity-25M: A Large-scale Multimodal Dataset with Multigranular Annotations for Medicine [53.01393667775077]
  本稿では,医療用大規模マルチモーダルデータセットであるMedTrinity-25Mを紹介する。 65以上の疾患に対する多彩なアノテーションを備えた10のモダリティで、2500万以上の画像をカバーしている。 画像テキストペアの可用性に制限がある既存のマルチモーダルデータセットとは異なり、我々は最初の自動パイプラインを開発した。
  論文  参考訳（メタデータ） (2024-08-06T02:09:35Z)
• Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
  差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。 Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。 我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2024-04-16T02:35:17Z)
• Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models [84.78513908768011]
  MRA(Mixture-of-Resolution Adaptation)と呼ばれるMLLMの新規かつ効率的な手法を提案する。 MRAは解像度の異なる画像に対して2つの視覚経路を採用し、高解像度の視覚情報を低解像度の経路に埋め込む。 MRAを検証するために、LLaVAと呼ばれる最近のMLLMに適用し、新しいモデルLLaVA-HRと呼ぶ。
  論文  参考訳（メタデータ） (2024-03-05T14:31:24Z)
• OmniMedVQA: A New Large-Scale Comprehensive Evaluation Benchmark for Medical LVLM [48.16696073640864]
  我々は,新しい包括的ビジュアル質問回答(VQA)ベンチマークであるOmniMedVQAを紹介する。 このベンチマークのすべての画像は、本物の医療シナリオから得られたものです。 既存のLVLMはこれらの医療用VQA問題に効果的に取り組むのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T13:51:56Z)
• Qilin-Med-VL: Towards Chinese Large Vision-Language Model for General Healthcare [14.646414629627001]
  本研究は,テキストデータと視覚データの分析を統合するために設計された,中国初の大規模視覚言語モデルであるQilin-Med-VLを紹介する。 また,100万以上の画像テキストペアからなるデータセットであるChiMed-VLもリリースしました。
  論文  参考訳（メタデータ） (2023-10-27T08:05:21Z)
• LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day [85.19963303642427]
  本稿では,バイオメディカルイメージのオープンな研究課題に答えられる視覚言語対話アシスタントを訓練するための費用効率のよいアプローチを提案する。 モデルはまず、フィギュア・キャプションのペアを使ってバイオメディカル・ボキャブラリをアライメントし、その後、オープンエンドの会話意味論を習得する。 これにより、バイオメディジンのための大規模言語と視覚アシスタントを15時間以内で(8つのA100で)訓練することができる。
  論文  参考訳（メタデータ） (2023-06-01T16:50:07Z)
• Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
  6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。 グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。 当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
  論文  参考訳（メタデータ） (2022-04-22T17:27:00Z)
• BERTHop: An Effective Vision-and-Language Model for Chest X-ray Disease Diagnosis [42.917164607812886]
  ヴィジュアル・アンド・ランゲージ(V&L)モデルは、画像とテキストを入力として取り、それら間の関連を捉えることを学ぶ。 BERTHopは、PixelHop++とVisualBERTをベースとしたトランスフォーマーベースのモデルで、2つのモダリティ間の関連をよりよく捉える。
  論文  参考訳（メタデータ） (2021-08-10T21:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。