論文の概要: Boosting Medical Visual Understanding From Multi-Granular Language Learning

• arxiv url: http://arxiv.org/abs/2511.15943v1
• Date: Thu, 20 Nov 2025 00:24:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.404273
• Title: Boosting Medical Visual Understanding From Multi-Granular Language Learning
• Title（参考訳）: マルチグラニュラー言語学習による医用視覚理解の促進
• Authors: Zihan Li, Yiqing Wang, Sina Farsiu, Paul Kinahan,
• Abstract要約: コントラスト言語-画像事前学習(CLIP)は,マルチモーダル学習において重要な役割を担っている。 本稿では,多言語言語学習(MGLL)を提案する。
• 参考スコア（独自算出の注目度）: 13.789642522499571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in image-text pretraining have significantly enhanced visual understanding by aligning visual and textual representations. Contrastive Language-Image Pretraining (CLIP) has played a pivotal role in multimodal learning. However, its focus on single-label, single-granularity alignment limits its effectiveness in complex domains such as medical imaging, where images often correspond to multiple high-level labels (e.g., disease categories) across different annotation granularities (e.g., diagnostic description, clinical explanation). To address this, we propose Multi-Granular Language Learning (MGLL), a contrastive learning framework designed to improve both multi-label and cross-granularity alignment. MGLL leverages structured multi-label supervision, integrates textual descriptions across granularities, and introduces soft-label supervision with point-wise constraints to enhance alignment. MGLL employs smooth Kullback-Leibler (KL) divergence to ensure cross-granularity consistency while maintaining computational efficiency as a plug-and-play module for vision-language models. Pretrained on our constructed large-scale multi-granular datasets and evaluated across multiple datasets, MGLL outperforms other state-of-the-art methods in downstream tasks. The code is available at \href{https://github.com/HUANGLIZI/MGLL}{https://github.com/HUANGLIZI/MGLL}.
• Abstract（参考訳）: 画像テキスト事前学習の最近の進歩は、視覚的およびテキスト的表現の整列によって視覚的理解を著しく向上させた。 コントラスト言語-画像事前学習(CLIP)は,マルチモーダル学習において重要な役割を担っている。 しかし、単一ラベルの単一粒度アライメントに焦点を合わせることで、画像がさまざまなアノテーションの粒度(例:診断説明、臨床説明)にまたがる複数の高レベルラベル(例:疾患カテゴリ)に対応する、医療画像のような複雑な領域における効果が制限される。 これを解決するために,多言語言語学習(MGLL)を提案する。 MGLLは構造化されたマルチラベルの監督を活用し、粒度をまたいだテキスト記述を統合し、アライメントを強化するためにポイントワイドな制約を伴うソフトラベルの監督を導入する。 MGLLは、視覚言語モデルのプラグ・アンド・プレイモジュールとして計算効率を維持しながら、粒度間の整合性を確保するために、スムーズなKullback-Leibler (KL) の発散を用いる。 構築した大規模マルチグラニュラーデータセットに基づいて、複数のデータセットで評価され、MGLLは下流タスクにおける他の最先端メソッドよりも優れています。 コードは \href{https://github.com/HUANGLIZI/MGLL}{https://github.com/HUANGLIZI/MGLL} で公開されている。

関連論文リスト

• GMAT: Grounded Multi-Agent Clinical Description Generation for Text Encoder in Vision-Language MIL for Whole Slide Image Classification [4.922864692096282]
  多重インスタンス学習(MIL)は、全スライド画像(WSI)分類における主要なアプローチである。 最近の研究は、医療知識を取り入れたビジョン言語モデル(VLM)をMILパイプラインに導入している。 本稿では2つの重要なコントリビューションを持つビジョン言語MILフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-02T09:59:39Z)
• Semantic-guided Representation Learning for Multi-Label Recognition [13.046479112800608]
  マルチラベル認識(MLR)では、画像内の各データインスタンスに複数のラベルを割り当てる。 近年のビジョンと言語事前学習法は、ゼロショットMLRタスクの処理において大きな進歩を遂げている。 本研究では,セマンティック誘導型表現学習手法(SigRL)を導入し,モデルが効果的な視覚的およびテキスト的表現を学習できるようにする。
  論文  参考訳（メタデータ） (2025-04-04T08:15:08Z)
• Aligning Vision to Language: Annotation-Free Multimodal Knowledge Graph Construction for Enhanced LLMs Reasoning [10.761218096540976]
  LLM(Large Language Models)におけるマルチモーダル推論は、不完全な知識と幻覚に苦しむ。 本稿では,マルチモーダルな知識グラフを構築するための新しいアプローチであるVaLiK(Vision-Align-to-Language Integrated Knowledge Graph)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T09:31:14Z)
• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• Context-Based Semantic-Aware Alignment for Semi-Supervised Multi-Label Learning [37.13424985128905]
  大規模な画像テキストペアで事前訓練された視覚言語モデルは、SSMLL設定下でのラベル付きデータ制限の課題を軽減することができる。 SSMLL問題を解くために,文脈に基づく意味認識アライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-12-25T09:06:54Z)
• ClawMachine: Learning to Fetch Visual Tokens for Referential Comprehension [71.03445074045092]
  我々はClawMachineを提案し、視覚トークンのグループのトークン集合を用いて各エンティティに明示的に通知する新しい方法論を提案する。 追加構文を用いることなく視覚的参照タスクのプロンプトと応答を統一する手法を提案する。 ClawMachineは、高い効率でシーンレベルおよび参照理解タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
  本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。 UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。 パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-12T06:35:09Z)
• Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination [88.74459704391214]
  本研究では,より現実的なマルチモーダル機械翻訳(UMMT)について検討する。 視覚・言語シーングラフ(SG)を用いて,入力画像とテキストを表現し,その微細な視覚言語特徴が意味論の全体的理解を確実にする。 教師なし翻訳学習には,SG-pivotingに基づく学習目的がいくつか導入されている。 提案手法は,タスクとセットアップにおいて,BLEUスコアの有意な向上により,最良性能のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-20T18:17:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。