論文の概要: Advancing Radiograph Representation Learning with Masked Record Modeling

• arxiv url: http://arxiv.org/abs/2301.13155v1
• Date: Mon, 30 Jan 2023 18:33:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 13:20:18.978617
• Title: Advancing Radiograph Representation Learning with Masked Record Modeling
• Title（参考訳）: マスキング記録モデルによるラジオグラフ表現学習の高度化
• Authors: Hong-Yu Zhou, Chenyu Lian, Liansheng Wang, Yizhou Yu
• Abstract要約: 我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。 MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。 具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
• 参考スコア（独自算出の注目度）: 52.04899592688968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern studies in radiograph representation learning rely on either self-supervision to encode invariant semantics or associated radiology reports to incorporate medical expertise, while the complementarity between them is barely noticed. To explore this, we formulate the self- and report-completion as two complementary objectives and present a unified framework based on masked record modeling (MRM). In practice, MRM reconstructs masked image patches and masked report tokens following a multi-task scheme to learn knowledge-enhanced semantic representations. With MRM pre-training, we obtain pre-trained models that can be well transferred to various radiography tasks. Specifically, we find that MRM offers superior performance in label-efficient fine-tuning. For instance, MRM achieves 88.5% mean AUC on CheXpert using 1% labeled data, outperforming previous R$^2$L methods with 100% labels. On NIH ChestX-ray, MRM outperforms the best performing counterpart by about 3% under small labeling ratios. Besides, MRM surpasses self- and report-supervised pre-training in identifying the pneumonia type and the pneumothorax area, sometimes by large margins.
• Abstract（参考訳）: ラジオグラフ表現学習における現代の研究は、不変セマンティクスをエンコードする自己スーパービジョンや、医学的な専門知識を組み込むための関連する放射線学レポートに依存している。 そこで本研究では,自己および報告補完を2つの補完的目的として定式化し,マスクド・レコード・モデリング(mrm)に基づく統一フレームワークを提案する。 実際には、MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。 MRM事前訓練により,様々な放射線撮影タスクに十分に移行可能な事前訓練モデルが得られる。 具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。 例えば、MRMはCheXpertで平均88.5%のAUCを1%ラベル付きデータで達成し、従来のR$^2$L法よりも100%ラベルで優れている。 NIH ChestX-ray では、MRM は小さなラベリング比で 3% 程度の性能で最高の性能を発揮する。 また,mrmは肺炎タイプと気胸領域の同定において,自己管理および報告前訓練を上回っている。

関連論文リスト

• ContextMRI: Enhancing Compressed Sensing MRI through Metadata Conditioning [51.26601171361753]
  本稿では, 微細なメタデータを再構成プロセスに統合したMRI用テキスト条件拡散モデルであるContextMRIを提案する。 メタデータの忠実度はスライス位置やコントラストから患者年齢、性別、病理まで増加し、体系的に再構築性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-01-08T05:15:43Z)
• MCL: Multi-view Enhanced Contrastive Learning for Chest X-ray Report Generation [15.615477864185522]
  胸部X線レポート生成のためのマルチビュー強化コントラスト学習法を提案する。 具体的には、まず、マルチビューラジオグラフィと対応するレポートの一致を最大化することにより、視覚表現のためのマルチビュー強化コントラスト学習を導入する。 我々は、多視点レポート生成研究を支援するために、公開情報源から多視点CXRと2視点CXRデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-15T14:38:13Z)
• Multi-Tiered Self-Contrastive Learning for Medical Microwave Radiometry (MWR) Breast Cancer Detection [0.25569800973362833]
  本研究は, 乳癌検診におけるマイクロ波ラジオメトリー(MWR)に適した, 新規な多層自己造影モデルを提案する。 提案手法には, ローカルMWR (L-MWR), 地域MWR (R-MWR), グローバルMWR (G-MWR) の3つの異なるモデルが組み込まれている。 これらのモデルはジョイント・MWR(J-MWR)ネットワークを通じて統合され、各分析レベルで自己比較結果を利用して診断精度を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T21:51:02Z)
• RRM: Robust Reward Model Training Mitigates Reward Hacking [51.12341734942797]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 これらのアーティファクトとは無関係に好みを学習する因果的枠組みを導入する。 実験の結果,提案手法は望ましくないアーティファクトをフィルタし,より堅牢な報酬モデルを実現することができた。
  論文  参考訳（メタデータ） (2024-09-20T01:46:07Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• Self-distilled Masked Attention guided masked image modeling with noise Regularized Teacher (SMART) for medical image analysis [6.712251433139412]
  注意誘導型マスク画像モデリング(MIM)を用いた事前学習型視覚変換器(ViT)は、自然画像解析において下流の精度を向上することを示した。 我々は,MIMの選択的マスキングを誘導するために,雑音の多い運動量更新教師を組み合わせた共蒸留スウィントランスを開発した。
  論文  参考訳（メタデータ） (2023-10-02T13:53:55Z)
• Learning to Generalize towards Unseen Domains via a Content-Aware Style Invariant Model for Disease Detection from Chest X-rays [2.2835858158799405]
  分布不一致による性能劣化は、インテリジェントイメージングにおける長年にわたる課題である。 近年の研究では、CNNはコンテンツよりもスタイルに偏っていることが示されている。 我々は、画像(SRM-IL)と特徴(SRM-FL)の両方において、新しいオンザフライスタイルのランダム化モジュールを使用し、リッチなスタイルの摂動特徴を創出する。
  論文  参考訳（メタデータ） (2023-02-27T17:30:00Z)
• From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader [130.45769668885487]
  Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-12-09T10:21:56Z)
• RGMIM: Region-Guided Masked Image Modeling for Learning Meaningful Representations from X-Ray Images [49.24576562557866]
  X線画像から意味のある表現を学習するための領域誘導マスク画像モデリング(RGMIM)を提案する。 RGMIMは、トレーニングセットの5%や10%といった小さなデータボリュームのパフォーマンスを、他の方法と比較して大幅に改善した。
  論文  参考訳（メタデータ） (2022-11-01T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。