論文の概要: S4M: Generating Radiology Reports by A Single Model for Multiple Body
Parts
- arxiv url: http://arxiv.org/abs/2305.16685v1
- Date: Fri, 26 May 2023 07:12:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 16:30:26.034493
- Title: S4M: Generating Radiology Reports by A Single Model for Multiple Body
Parts
- Title(参考訳): S4M:複数部位の単一モデルによる放射線診断レポートの作成
- Authors: Qi Chen, Yutong Xie, Biao Wu, Minh-Son To, James Ang, Qi Wu
- Abstract要約: 本稿では,2つの補助的な先行するレポート生成モデルの学習を容易にするためのS4Mフレームワークを提案する。
我々は、パブリックデータセット(e, IU-Xray)と5つのプライベートデータセットからなる統合データセットの実験を行い、6つのボディ部分をカバーする。
- 参考スコア(独自算出の注目度): 20.830679324906473
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we seek to design a report generation model that is able to
generate reasonable reports even given different images of various body parts.
We start by directly merging multiple datasets and training a single report
generation model on this one. We, however, observe that the reports generated
in such a simple way only obtain comparable performance compared with that
trained separately on each specific dataset. We suspect that this is caused by
the dilemma between the diversity of body parts and the limited availability of
medical data. To develop robust and generalizable models, it is important to
consider a diverse range of body parts and medical conditions. However,
collecting a sufficiently large dataset for each specific body part can be
difficult due to various factors, such as data availability and privacy
concerns. Thus, rather than striving for more data, we propose a
single-for-multiple (S4M) framework, which seeks to facilitate the learning of
the report generation model with two auxiliary priors: an explicit prior (\ie,
feeding radiology-informed knowledge) and an implicit prior (\ie, guided by
cross-modal features). Specifically, based on the conventional encoder-decoder
report generation framework, we incorporate two extra branches: a
Radiology-informed Knowledge Aggregation (RadKA) branch and an Implicit Prior
Guidance (IPG) branch. We conduct the experiments on our merged dataset which
consists of a public dataset (\ie, IU-Xray) and five private datasets, covering
six body parts: chest, abdomen, knee, hip, wrist and shoulder. Our S4M model
outperforms all the baselines, regardless of whether they are trained on
separate or merged datasets. Code is available at:
\url{https://github.com/YtongXie/S4M}.
- Abstract(参考訳): 本稿では,様々な身体部位の異なる画像であっても合理的なレポートを生成できるレポート生成モデルについて検討する。
まず、複数のデータセットを直接マージして、単一のレポート生成モデルをトレーニングします。
しかし、このような単純な方法で生成されたレポートは、個々のデータセットで個別に訓練されたレポートと同等のパフォーマンスしか得られない。
これは、身体部分の多様性と医療データの利用率の制限によるジレンマによるものと考えられる。
堅牢で一般化可能なモデルを開発するためには,多様な身体部位や医療状況を考慮することが重要である。
しかし、データ可用性やプライバシの懸念など、さまざまな要因により、特定の身体部分ごとに十分なデータセットを収集することは困難である。
そこで本稿では, より詳細なデータを求めるのではなく, 明確な先行情報(無線情報提供)と暗黙的な先行情報(モーダルな特徴によって導かれる)の2つの補助的先行情報を用いて, レポート生成モデルの学習を促進する一元多元化(S4M)フレームワークを提案する。
具体的には、従来のエンコーダ-デコーダレポート生成フレームワークに基づいて、Radlogy-informed Knowledge Aggregation (RadKA)ブランチとImplicit Prior Guidance (IPG)ブランチの2つの追加ブランチを組み込む。
胸部,腹部,膝,股関節,手首,肩の6つの身体部分をカバーする,公開データセット(\ie, IU-Xray)と5つのプライベートデータセットからなる統合データセットの実験を行った。
私たちのS4Mモデルは、別々のデータセットやマージされたデータセットでトレーニングされているかどうかに関わらず、すべてのベースラインを上回ります。
コードは \url{https://github.com/ytongxie/s4m} で入手できる。
関連論文リスト
- One model to use them all: Training a segmentation model with complementary datasets [38.73145509617609]
補足アノテーションを提供する部分注釈付きデータセットを1つのモデルに結合する手法を提案する。
このアプローチは6つのクラスを1つのモデルにうまく組み合わせ、全体のDice Scoreを4.4%増加させました。
胃と大腸の混同を24%減らすことができた。
論文 参考訳(メタデータ) (2024-02-29T16:46:49Z) - Complex Organ Mask Guided Radiology Report Generation [13.96983438709763]
我々は,複合臓器マスクガイド(COMG)レポート生成モデルを提案する。
融合過程において各臓器に対応する疾患の事前知識を活用し,疾患の同定フェーズを増強する。
2つの公開データセットの結果、COMGはSOTAモデルKiUTよりもBLEU@4スコアで11.4%と9.7%改善している。
論文 参考訳(メタデータ) (2023-11-04T05:34:24Z) - Source-Free Collaborative Domain Adaptation via Multi-Perspective
Feature Enrichment for Functional MRI Analysis [55.03872260158717]
安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。
ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。
しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。
我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
論文 参考訳(メタデータ) (2023-08-24T01:30:18Z) - Towards Generalist Foundation Model for Radiology by Leveraging
Web-scale 2D&3D Medical Data [66.9359934608229]
この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。
われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。
本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
論文 参考訳(メタデータ) (2023-08-04T17:00:38Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Learning 3D Human Pose Estimation from Dozens of Datasets using a
Geometry-Aware Autoencoder to Bridge Between Skeleton Formats [80.12253291709673]
本稿では,アフィン結合型オートエンコーダ(ACAE)法を提案する。
このアプローチは、28人の人間のポーズデータセットを使って1つのモデルを監督する、極端なマルチデータセット体制にスケールします。
論文 参考訳(メタデータ) (2022-12-29T22:22:49Z) - sJIVE: Supervised Joint and Individual Variation Explained [0.0]
同一対象データに対する複数ビューであるマルチソースデータの解析は, 生物医学研究においてますます一般的になっている。
本研究では,共有構造(共同)とソース固有構造(個別構造)を同時に識別する手法であるsjive(supervised joint and individual variation explained)を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:54:45Z) - Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without
Sharing Private Information [55.866673486753115]
プライバシーとセキュリティを守るために拡張可能で弾力性のある学習フレームワークを提案します。
提案するフレームワークは分散Asynchronized Discriminator Generative Adrial Networks (AsynDGAN) である。
論文 参考訳(メタデータ) (2020-12-15T20:41:24Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z) - Have you forgotten? A method to assess if machine learning models have
forgotten data [20.9131206112401]
ディープラーニングの時代において、複数のソースからのデータの集約は、データの多様性を保証するための一般的なアプローチである。
本稿では、モデルによってデータが忘れられたかどうかという課題に対処する。
我々は、ターゲットの出力と異なるデータセットで訓練されたモデルの出力を比較する統計的手法を確立する。
論文 参考訳(メタデータ) (2020-04-21T16:13:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。