論文の概要: TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

• arxiv url: http://arxiv.org/abs/2607.21970v1
• Date: Fri, 24 Jul 2026 04:34:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.04695
• Title: TextSLIP: Text Self-Supervised CLIP for Medical Report Generation
• Title（参考訳）: TextSLIP:医療報告作成のためのテキストセルフスーパービジョンCLIP
• Abstract要約: TextSLIPは、一般的な医療ビジョンによる事前トレーニングフレームワークである。 これはCLIPをモダル内テキストコントラスト学習で強化する。 TextSLIPはレポート生成メトリクスに対して一貫した改善を示している。
• 参考スコア（独自算出の注目度）: 1.096775983254165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automating radiology report generation is important for improving reporting consistency and clinical workflows . While Contrastive Language--Image Pretraining (CLIP) has advanced medical vision language modeling, existing CLIP-style approaches may still provide insufficient fine-grained semantic supervision for complex report generation. Standard CLIP primarily optimizes cross-modal alignment, without explicitly structuring the textual embedding space that guides visual representation learning. To address this limitation, we propose TextSLIP, a general medical vision-language pretraining framework that augments CLIP with intra-modal text contrastive learning. By improving textual embedding discriminability through self-supervised augmented text pairs, TextSLIP is designed to provide finer-grained linguistic supervision to the visual encoder. As an initial validation, we pretrain TextSLIP on a curated dataset of 7 million brain MRI image-text pairs and fine-tune the pretrained visual encoder within a report generation architecture. In controlled comparisons with CLIP-style baselines, TextSLIP shows consistent improvements on report generation metrics. Ablation studies further suggest that text-side self-supervision contributes to the observed gains. These results indicate that text-level contrastive learning is a promising direction for improving medical visual-textual alignment, while broader validation across additional medical domains remains an important next step.
• Abstract（参考訳）: 報告の整合性や臨床ワークフローを改善するためには,放射線診断レポート生成の自動化が重要である。 Contrastive Language--Image Pretraining (CLIP) は先進的な医療ビジョン言語モデリングを持っているが、既存のCLIPスタイルのアプローチは複雑なレポート生成に十分なセマンティック管理を提供する。 Standard CLIPは、視覚表現学習のガイドとなるテキスト埋め込み空間を明示的に構成することなく、主にモーダルアライメントを最適化する。 この制限に対処するために、CLIPをモダル内テキストコントラスト学習で強化する一般的な医用視覚言語事前学習フレームワークであるTextSLIPを提案する。 自己教師付テキストペアによるテキスト埋め込み識別性の向上により、TextSLIPは、視覚エンコーダのよりきめ細かい言語的監督を提供するように設計されている。 最初の検証として、700万の脳MRI画像テキストペアのキュレートされたデータセット上でTextSLIPを事前訓練し、レポート生成アーキテクチャ内でトレーニング済みのビジュアルエンコーダを微調整する。 CLIPスタイルのベースラインとコントロールされた比較では、TextSLIPはレポート生成メトリクスに対して一貫した改善を示している。 アブレーション研究は、テキスト側の自己超越が観察された利益に寄与することを示唆している。 以上の結果から,テキストレベルのコントラスト学習は医用視覚・テキストアライメントを改善する上で有望な方向であり,追加の医療領域にまたがる広範な検証は次のステップとして重要であることが示唆された。

関連論文リスト

• SwinTextUNet: Integrating CLIP-Based Text Guidance into Swin Transformer U-Nets for Medical Image Segmentation [3.464871689508836]
  CLIP(Contrastive Language Image Pretraining)を組み込んだマルチモーダルセグメンテーションフレームワークであるSwinTextUNetを紹介する。 クロスアテンションと畳み込み融合を統合することで、モデルはセマンティックテキストガイダンスと階層的な視覚表現を効果的に整合させる。 提案手法は,QaTaCOV19データセットにおいて,提案した4段階のモデルを用いて,性能と複雑性の最適なバランスを実現する。
  論文  参考訳（メタデータ） (2026-04-11T03:16:16Z)
• SuperCLIP: CLIP with Simple Classification Supervision [88.86549733903314]
  Contrastive Language-Image Pretrainingは、画像とテキストを共有埋め込み空間に整列させることにより、視覚言語タスクの強力な一般化を実現する。 近年,CLIP様モデルでは,テキスト中の微細なセマンティック信号が依然として使われていないことが報告されている。 分類に基づく教師付きコントラスト学習のフレームワークであるSuperCLIPを提案する。
  論文  参考訳（メタデータ） (2025-12-16T15:11:53Z)
• QwenCLIP: Boosting Medical Vision-Language Pretraining via LLM Embeddings and Prompt tuning [1.8957478338649112]
  対照的な言語画像訓練(CLIP)は、医療領域における視覚言語タスクの強力な一般化を実証している。 CLIPのテキストエンコーダは77個のトークンしか受け入れないため、長く情報に富んだ放射線学レポートを表現できない。 QwenCLIPはCLIPのテキストエンコーダを大きな言語モデル(LLM)ベースの埋め込みモジュールに置き換える視覚言語フレームワークである。
  論文  参考訳（メタデータ） (2025-11-17T19:51:59Z)
• Exploring the Capabilities of LLM Encoders for Image-Text Retrieval in Chest X-rays [8.019362739504087]
  視覚言語による事前訓練は画像とテキストのアライメントが進んでいるが、臨床報告の不均一性によって放射線学の進歩が制限されている。 我々は,大規模言語モデル (LLM) エンコーダが,多様なスタイルにまたがる堅牢な臨床表現を提供できるかどうかを問う。 胸部X線レポート用のドメイン適応エンコーダLLM2VEC4CXRと、このエンコーダとビジョンバックボーンを結合するデュアルトウワーフレームワークLLM2CLIP4CXRを紹介する。
  論文  参考訳（メタデータ） (2025-09-17T09:44:59Z)
• Can language-guided unsupervised adaptation improve medical image classification using unpaired images and texts? [14.547437214214485]
  医用画像分類では,ラベル付き医用画像が不足しているため,教師あり学習が困難である。 視覚言語モデル(VLM)のアンダーラインUnアンダーライン適応(textttMedUnA)を提案する。 LLMの生成した各クラスの記述は、テキスト埋め込みにエンコードされ、クロスモーダルアダプタを介してクラスラベルにマッチする。
  論文  参考訳（メタデータ） (2024-09-03T09:25:51Z)
• IMITATE: Clinical Prior Guided Hierarchical Vision-Language Pre-training [15.04212780946932]
  階層的視覚言語アライメントを用いた医療報告から構造情報を学習するための新しいフレームワークImitateを提案する。 このフレームワークは胸部X線(CXR)画像から多段階の視覚特徴を導出し、これらの特徴を階層的な医療報告に符号化された記述的および決定的テキストと別々に整列する。
  論文  参考訳（メタデータ） (2023-10-11T10:12:43Z)
• Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition [77.93678598476149]
  CLIP-OCR(Symmetrical Linguistic Feature Distillation framework)を新たに構築する。 CLIP画像エンコーダを逆CLIPテキストエンコーダでカスケードすることにより、画像からテキストまでの特徴フローで対称構造を構築する。 大規模な実験では、CLIP-OCRが6つのSTRベンチマークで平均精度93.8%で有効であることが示されている。
  論文  参考訳（メタデータ） (2023-10-08T04:00:20Z)
• CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model [55.321010757641524]
  CLIP4STRは,CLIPのイメージエンコーダとテキストエンコーダ上に構築された,シンプルで効果的なSTRメソッドである。 モデルサイズ、事前トレーニングデータ、トレーニングデータの観点からCLIP4STRをスケールし、13のSTRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-23T12:51:20Z)
• CLIP also Understands Text: Prompting CLIP for Phrase Understanding [65.59857372525664]
  Contrastive Language-Image Pretraining (CLIP)は、自然言語による事前学習によって視覚概念を効率的に学習する。 本稿では,CLIPのテキストエンコーダが語句理解の強力な能力を示し,適切な設計のプロンプトでBERTなどの一般的な言語モデルよりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T23:35:18Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。