論文の概要: Jolia: Concept-Level Vision-Language Alignment for 3D CT Contrastive Learning

• arxiv url: http://arxiv.org/abs/2606.24570v2
• Date: Wed, 24 Jun 2026 15:27:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.041817
• Title: Jolia: Concept-Level Vision-Language Alignment for 3D CT Contrastive Learning
• Title（参考訳）: Jolia:3次元CTコントラスト学習のための概念レベル視覚言語アライメント
• Abstract要約: ConQuerは、CLIPのグローバルアライメントと局所アライメントを増強する画像テキスト事前トレーニング手法である。 ConQuerはレポートを概念固有のセクションに分割し、一致するイメージ機能をプールするクロスアテンションクエリを学習する。 胸部CTと腹部CTの3次元CT基盤モデルであるJoliaをトレーニングするためにConQuerを用いている。
• 参考スコア（独自算出の注目度）: 4.823644833140588
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision-language contrastive pretraining has become the dominant recipe for 3D medical foundation models, leveraging the large volumes of paired scans and reports produced in clinical practice. However, medical images usually span dozens of organs, and radiological reports are much longer than typical natural image captions and are composed of multiple structured sections. CLIP-style pretraining compresses this structure by encoding each modality into a single global token, at the risk of losing important details. We introduce ConQuer (Concept Queries), an image-text pretraining method that augments CLIP's global alignment with a set of localized alignments, one per concept. ConQuer splits the report into concept-specific sections and learns cross-attention queries that pool the matching image features without using any segmentation mask or spatial supervision. Contrastive learning is then applied independently for each concept. Concepts can be any unit of semantic localization; here, they are anatomical regions, one query per organ or gross body region. As a byproduct, each query learns attention maps focused on its concept, providing built-in spatial interpretability. We use ConQuer to train Jolia, a 3D CT foundation model on chest and abdominal CT. Jolia consistently outperforms a CLIP baseline on findings classification, report generation, and cross-center transfer, and sets a new state of the art across multiple public benchmarks. Jolia's weights are available at https://huggingface.co/raidium/Jolia
• Abstract（参考訳）: 視覚言語による対照的な事前訓練が3次元医療基礎モデルの主流のレシピとなり、大量のペアスキャンと臨床実習で作成された報告を活用している。 しかし、医用画像は通常数十の臓器にまたがっており、放射線学的報告は通常の自然画像のキャプションよりもずっと長く、複数の構成された部分で構成されている。 CLIPスタイルの事前訓練は、各モダリティを単一のグローバルトークンに符号化することで、重要な詳細を失うリスクを負うことにより、この構造を圧縮する。 ConQuer(Concept Queries)は、CLIPのグローバルアライメントを、概念毎に1つずつ、ローカライズされたアライメントのセットで強化するイメージテキスト事前トレーニング手法である。 ConQuerはレポートを概念固有のセクションに分割し、セグメンテーションマスクや空間監視を使わずに、マッチングされたイメージ特徴をプールするクロスアテンションクエリを学習する。 コントラスト学習は各概念に対して独立して適用される。 概念は意味的ローカライゼーションの任意の単位であり、ここでは解剖学的領域、臓器ごとのクエリ、あるいは全身領域である。 副産物として、各クエリは、その概念に焦点をあてたアテンションマップを学習し、組込み空間解釈性を提供する。 胸部CTと腹部CTの3次元CT基盤モデルであるJoliaをトレーニングするためにConQuerを用いている。 Joliaは、発見分類、レポート生成、データセンタ間の転送において、CLIPベースラインを一貫して上回り、複数の公開ベンチマークにまたがって、新たな最先端を設定している。 Joliaの重みはhttps://huggingface.co/raidium/Joliaで確認できる。

関連論文リスト

• MedPlex: Deep Vision-Language Co-Adaptation for Clinically Grounded Medical Segmentation [8.760474194841908]
  MedPlexは、テキストガイダンスをセグメンテーション学習の継続的かつ臨床的基盤となるエンドツーエンドのVLMフレームワークである。 MedPlexは、多臓器、心臓のサブ構造、腫瘍のセグメンテーションのためのCTおよびMRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-13T18:37:13Z)
• UniMedSeg: Unified In-Context Learning for Multi-Paradigm 2D/3D Medical Image Segmentation [44.30877351899412]
  UniMedSegは、医療画像のためのトランスフォーマー中心のユニバーサルセグメンテーションフレームワークである。 視覚例、幾何学的相互作用、言語命令、および2D/3D画像を共有シーケンス空間にマッピングする。 タスク固有の微調整なしで、ビジュアル・イン・コンテキスト、インタラクティブ、言語誘導セグメンテーションにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-07-14T15:34:46Z)
• MedP-CLIP: Medical CLIP with Region-Aware Prompt Integration [22.87996664536728]
  地域対応医療ビジョン言語モデル(VLM)であるMedP-CLIPを提案する。 我々は、精密に構築された大規模データセット上でモデルを事前訓練する。 実験により,MedP-CLIPは各種医療タスクにおいて,ベースライン法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2026-04-13T08:53:36Z)
• Adapting Segment Anything Model 3 for Concept-Driven Lesion Segmentation in Medical Images: An Experimental Study [6.850135803678454]
  病変の分節に対するSegment Anything Model 3 (SAM3) の体系的評価を行った。 11種類の病変を含む13のデータセットの実験では、SAM3が強い相互モダリティの一般化を実現することが示されている。 これらの結果は,スケーラブルで実用的な医用画像セグメンテーションのための概念ベース基盤モデルの可能性を強調した。
  論文  参考訳（メタデータ） (2026-03-26T22:30:10Z)
• TGC-Net: A Structure-Aware and Semantically-Aligned Framework for Text-Guided Medical Image Segmentation [56.09179939570486]
  本稿では,パラメータ効率,タスク固有適応に着目したCLIPベースのフレームワークであるTGC-Netを提案する。 TGC-Netは、挑戦的なベンチマークで顕著なDiceゲインを含む、トレーニング可能なパラメータをかなり少なくして、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-24T12:06:26Z)
• Self-Supervised Alignment Learning for Medical Image Segmentation [26.114595114732644]
  医用画像セグメンテーションのためのニューラルネットワークを事前学習するための,新たな自己教師付きアライメント学習フレームワークを提案する。 提案するフレームワークは,新たな局所的なアライメント損失とグローバルな位置損失から構成される。 実験の結果,提案したアライメント学習は,既存のCTおよびMRIデータセットの自己教師付き事前学習手法と競合することが示された。
  論文  参考訳（メタデータ） (2024-06-22T00:47:39Z)
• Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
  我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。 空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。 時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:15:09Z)
• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Multi-View Vertebra Localization and Identification from CT Images [57.56509107412658]
  我々は,CT画像からの多視点椎体局在と同定を提案する。 本研究では,3次元問題を異なる視点における2次元局所化および識別タスクに変換する。 本手法は,多視点グローバル情報を自然に学習することができる。
  論文  参考訳（メタデータ） (2023-07-24T14:43:07Z)
• PCRLv2: A Unified Visual Information Preservation Framework for Self-supervised Pre-training in Medical Image Analysis [56.63327669853693]
  本稿では,ピクセルレベルの情報を高レベルなセマンティクスに明示的にエンコードするための画素復元タスクを提案する。 また,画像理解を支援する強力なツールであるスケール情報の保存についても検討する。 提案されている統合SSLフレームワークは、さまざまなタスクで自己管理されたフレームワークを超越している。
  論文  参考訳（メタデータ） (2023-01-02T17:47:27Z)
• CUTS: A Deep Learning and Topological Framework for Multigranular Unsupervised Medical Image Segmentation [8.307551496968156]
  医用画像セグメンテーションのための教師なしディープラーニングフレームワークCUTSを提案する。 各画像に対して、画像内コントラスト学習と局所パッチ再構成による埋め込みマップを生成する。 CUTSは、様々な粒度の特徴をハイライトする粗い粒度のセグメンテーションを連続的に生成する。
  論文  参考訳（メタデータ） (2022-09-23T01:09:06Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)
• One-Shot Object Localization in Medical Images based on Relative Position Regression [17.251097303541002]
  ボリューム医療画像における臓器局在とランドマーク局在のためのワンショットフレームワークを提示する。 私たちの主な考え方は、異なる人体の組織や臓器が、同様の相対的な位置と文脈を持っていることです。 ヘッド・アンド・ネック(HaN)CTボリュームからの多臓器局在化実験により,本手法は実時間で競合性能を得た。
  論文  参考訳（メタデータ） (2020-12-13T11:54:19Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。