論文の概要: CheXWorld: Exploring Image World Modeling for Radiograph Representation Learning
- arxiv url: http://arxiv.org/abs/2504.13820v1
- Date: Fri, 18 Apr 2025 17:50:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-28 14:36:52.67061
- Title: CheXWorld: Exploring Image World Modeling for Radiograph Representation Learning
- Title（参考訳）: CheXWorld:Radiograph Representation Learningのための画像ワールドモデリング
- Authors: Yang Yue, Yulin Wang, Chenxin Tao, Pan Liu, Shiji Song, Gao Huang,
- Abstract要約: 我々は,放射線画像の自己教師型世界モデルに向けた最初の取り組みであるCheXWorldを紹介する。
本研究は,放射線科医に必要な医学知識の3つの側面を同時にモデル化する統合的枠組みの開発である。
- 参考スコア（独自算出の注目度）: 76.98039909663756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans can develop internal world models that encode common sense knowledge, telling them how the world works and predicting the consequences of their actions. This concept has emerged as a promising direction for establishing general-purpose machine-learning models in recent preliminary works, e.g., for visual representation learning. In this paper, we present CheXWorld, the first effort towards a self-supervised world model for radiographic images. Specifically, our work develops a unified framework that simultaneously models three aspects of medical knowledge essential for qualified radiologists, including 1) local anatomical structures describing the fine-grained characteristics of local tissues (e.g., architectures, shapes, and textures); 2) global anatomical layouts describing the global organization of the human body (e.g., layouts of organs and skeletons); and 3) domain variations that encourage CheXWorld to model the transitions across different appearance domains of radiographs (e.g., varying clarity, contrast, and exposure caused by collecting radiographs from different hospitals, devices, or patients). Empirically, we design tailored qualitative and quantitative analyses, revealing that CheXWorld successfully captures these three dimensions of medical knowledge. Furthermore, transfer learning experiments across eight medical image classification and segmentation benchmarks showcase that CheXWorld significantly outperforms existing SSL methods and large-scale medical foundation models. Code & pre-trained models are available at https://github.com/LeapLabTHU/CheXWorld.
- Abstract（参考訳）: 人間は、常識知識を符号化し、世界がどのように機能するかを伝え、行動の結果を予測する内部世界モデルを開発することができる。
この概念は、視覚表現学習のための最近の予備研究において、汎用機械学習モデルを確立するための有望な方向として登場した。
本稿では,放射線画像のための自己教師型世界モデルCheXWorldについて紹介する。
具体的には,放射線科医に不可欠な医学知識の3つの側面を同時にモデル化する統合的枠組みを開発する。
1)局所組織(例えば、建築、形状及びテクスチャ)の微細な特性を記述した局所解剖学的構造
2 人体のグローバルな組織を記述する大域解剖学的配置(例、臓器及び骨格の配置)及び
3)CheXWorldは,各病院,機器,患者からのX線写真収集によって引き起こされる放射線写真(例えば,明瞭度,コントラスト,露出)の出現領域間の遷移をモデル化する。
実験では,CheXWorldがこれらの3次元の医療知識を捉えることに成功した。
さらに、8つの医用画像分類とセグメンテーションベンチマークの移行学習実験では、CheXWorldが既存のSSLメソッドや大規模医療基盤モデルよりも大幅に優れていることが示されている。
Code & Pre-trained Modelはhttps://github.com/LeapLabTHU/CheXWorldで入手できる。
関連論文リスト
- A Textbook Remedy for Domain Shifts: Knowledge Priors for Medical Image Analysis [48.84443450990355]
ディープネットワークは、医学的なスキャンに適用すると、例外のない状況で失敗することが多いため、自然画像の解析において広く成功している。
胸部X線や皮膚病変画像の文脈において、異なる病院から採取したデータや、性別、人種などの人口統計学的変数によって構築されたデータなど、ドメインシフトに対するモデル感度に焦点をあてる。
医学教育からインスピレーションを得て,自然言語で伝達される明示的な医学知識を基盤としたディープネットワークを提案する。
論文 参考訳（メタデータ） (2024-05-23T17:55:02Z) - DeViDe: Faceted medical knowledge for improved medical vision-language pre-training [1.6567372257085946]
胸部X線に対する視覚言語による事前訓練は、主にペアのX線写真とラジオグラフィーレポートを活用することで大きな進歩を遂げた。
オープンウェブからの無線画像記述を利用するトランスフォーマーベースのDeViDeを提案する。
DeViDeは知識強化された視覚言語アライメントの3つの重要な特徴を取り入れている。
ゼロショット設定では、DeViDeは外部データセットの完全な教師付きモデルと互換性があり、3つの大規模データセットの最先端結果を達成する。
論文 参考訳（メタデータ） (2024-04-04T17:40:06Z) - Towards Generalist Foundation Model for Radiology by Leveraging
Web-scale 2D&3D Medical Data [66.9359934608229]
この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。
われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。
本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
論文 参考訳（メタデータ） (2023-08-04T17:00:38Z) - Training Like a Medical Resident: Context-Prior Learning Toward Universal Medical Image Segmentation [38.61227663176952]
医用画像理解基盤モデルの構築を目的としたパラダイムであるユニバーサル・メディカルイメージ・セグメンテーションへのシフトを提案する。
医用画像セグメンテーションにおけるデータの異質性やアノテーションの違いに対処する新しい文脈優先学習手法であるHermesを開発した。
論文 参考訳（メタデータ） (2023-06-04T17:39:08Z) - Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。
X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。
画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
論文 参考訳（メタデータ） (2023-05-26T07:12:35Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳（メタデータ） (2022-09-28T10:27:10Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳（メタデータ） (2022-09-27T15:50:31Z) - Multi-view Local Co-occurrence and Global Consistency Learning Improve
Mammogram Classification Generalisation [23.51938491048481]
本稿では,放射線技師の読影手順を模倣する多視点グローバルローカル解析手法を提案する。
我々のモデルは、分類精度と一般化の点で競合する手法より優れている。
論文 参考訳（メタデータ） (2022-09-21T16:29:01Z) - Self-Supervised Representation Learning using Visual Field Expansion on
Digital Pathology [7.568373895297608]
このような画像を分析する上で重要な課題は、そのサイズであり、そのサイズはギガピクセルに収まる。
本稿では,このようなタイルの強力な表現を学習し,視界を確実に拡張する新しい生成フレームワークを提案する。
我々のモデルは、異なる臨床エンドポイントに使用できる強力な表現を同時に学習しながら、細部で異なる組織タイプを生成することを学習する。
論文 参考訳（メタデータ） (2021-09-07T19:20:01Z) - Image Embedding and Model Ensembling for Automated Chest X-Ray
Interpretation [0.0]
我々は、自動胸部X線診断モデルを開発するための機械学習アプローチをいくつか提示および研究する。
特に,chexpertデータセット上で複数の畳み込みニューラルネットワーク(cnn)をトレーニングした。
学習したCNNを用いてCXR画像の埋め込みを計算し、2組のツリーベース分類器を訓練した。
論文 参考訳（メタデータ） (2021-05-05T14:48:59Z) - CS2-Net: Deep Learning Segmentation of Curvilinear Structures in Medical
Imaging [90.78899127463445]
カービリニア構造のセグメンテーションのための汎用的で統一的な畳み込みニューラルネットワークを提案する。
エンコーダとデコーダに自己アテンション機構を含む新しいカービリニア構造分割ネットワーク(CS2-Net)を導入する。
論文 参考訳（メタデータ） (2020-10-15T03:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。