論文の概要: Efficient Representation Learning for Healthcare with
Cross-Architectural Self-Supervision
- arxiv url: http://arxiv.org/abs/2308.10064v1
- Date: Sat, 19 Aug 2023 15:57:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 17:56:10.579448
- Title: Efficient Representation Learning for Healthcare with
Cross-Architectural Self-Supervision
- Title（参考訳）: クロスアーキテクチャ・セルフスーパービジョンによる医療の効率的な表現学習
- Authors: Pranav Singh and Jacopo Cirrone
- Abstract要約: この課題に対応するために、クロスアーキテクチャー・セルフスーパービジョン(CASS)を紹介します。
そこで,CASSで訓練されたCNNとTransformerは,4つの多様な医療データセットにおいて,既存の自己教師型学習方法よりも優れていることを示す。
また、CASSはバッチサイズの変化やエポックの事前訓練にかなり堅牢であることを示し、医療アプリケーションにおける機械学習の候補として適している。
- 参考スコア（独自算出の注目度）: 5.439020425819001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In healthcare and biomedical applications, extreme computational requirements
pose a significant barrier to adopting representation learning. Representation
learning can enhance the performance of deep learning architectures by learning
useful priors from limited medical data. However, state-of-the-art
self-supervised techniques suffer from reduced performance when using smaller
batch sizes or shorter pretraining epochs, which are more practical in clinical
settings. We present Cross Architectural - Self Supervision (CASS) in response
to this challenge. This novel siamese self-supervised learning approach
synergistically leverages Transformer and Convolutional Neural Networks (CNN)
for efficient learning. Our empirical evaluation demonstrates that CASS-trained
CNNs and Transformers outperform existing self-supervised learning methods
across four diverse healthcare datasets. With only 1% labeled data for
finetuning, CASS achieves a 3.8% average improvement; with 10% labeled data, it
gains 5.9%; and with 100% labeled data, it reaches a remarkable 10.13%
enhancement. Notably, CASS reduces pretraining time by 69% compared to
state-of-the-art methods, making it more amenable to clinical implementation.
We also demonstrate that CASS is considerably more robust to variations in
batch size and pretraining epochs, making it a suitable candidate for machine
learning in healthcare applications.
- Abstract（参考訳）: 医療や生体医学の応用において、極端な計算要求は表現学習を採用する上で重要な障壁となる。
表現学習は、限られた医療データから有用な事前学習をすることで、ディープラーニングアーキテクチャのパフォーマンスを向上させることができる。
しかし、最先端の自己管理技術は、より小さなバッチサイズまたはより短い事前訓練エポックを使用する場合のパフォーマンスが低下する。
この課題に対応するために、クロスアーキテクチャー・セルフスーパービジョン(CASS)を紹介します。
トランスフォーマーと畳み込みニューラルネットワーク(cnn)を相乗的に活用し,効率的な学習を実現する。
実験により,CASS学習CNNとTransformerは,4つの多様な医療データセットにおいて,既存の自己教師付き学習方法より優れていることが示された。
微調整のためのラベル付きデータはわずか1%で、cassは平均3.8%改善し、10%のラベル付きデータは5.9%、100%のラベル付きデータは10.13%向上した。
特にCASSは、最先端の手法に比べて事前訓練時間を69%削減し、臨床実践に適している。
また、CASSはバッチサイズの変化やエポックの事前訓練にかなり堅牢であることを示し、医療アプリケーションにおける機械学習の候補として適している。
関連論文リスト
- An Efficient Contrastive Unimodal Pretraining Method for EHR Time Series Data [35.943089444017666]
本稿では,長期臨床経過データに適した比較事前学習法を提案する。
本モデルでは, 臨床医が患者の症状についてより深い知見を得られるように, 欠損測定をインプットする能力を示す。
論文 参考訳（メタデータ） (2024-10-11T19:05:25Z) - Transfer learning from a sparsely annotated dataset of 3D medical images [4.477071833136902]
本研究では,医療画像における臓器分割のための深部畳み込みニューラルネットワークの性能向上のための伝達学習の活用について検討する。
ベースセグメンテーションモデルは、大小の注釈付きデータセットに基づいてトレーニングされ、その重みは4つの新しい下流セグメンテーションタスクのトランスファー学習に使用された。
その結果,小規模なデータセットが利用可能になった場合には,ベースモデルからの移動学習が有用であることが示唆された。
論文 参考訳（メタデータ） (2023-11-08T21:31:02Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-15T17:55:05Z) - Cross-Architectural Positive Pairs improve the effectiveness of
Self-Supervised Learning [0.0]
Cross Architectural - Self Supervision (CASS)は、TransformerとCNNを同時に活用する、新しい自己教師型学習アプローチである。
CASSでトレーニングされたCNNとTransformerは、4つの多様なデータセットにまたがって平均3.8%のラベル付きデータを得た。
また、CASSは、既存の最先端の自己教師型学習アプローチよりも、バッチサイズやトレーニングエポックの変化に対して、はるかに堅牢であることも示しています。
論文 参考訳（メタデータ） (2023-01-27T23:27:24Z) - Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。
医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。
外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
論文 参考訳（メタデータ） (2022-07-01T14:17:11Z) - CASS: Cross Architectural Self-Supervision for Medical Image Analysis [0.0]
Cross Architectural Self-Supervisionは、トランスフォーマーとCNNを同時に活用する、新しい自己教師型学習アプローチである。
既存の最先端の自己教師型学習手法と比較して,CASSのトレーニング済みCNNを実証的に示し,トランスフォーマーは100%ラベル付きデータで平均8.5%を得た。
論文 参考訳（メタデータ） (2022-06-08T21:25:15Z) - Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。
様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
論文 参考訳（メタデータ） (2022-05-19T17:34:18Z) - BERT WEAVER: Using WEight AVERaging to enable lifelong learning for
transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。
WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文 参考訳（メタデータ） (2022-02-21T10:34:41Z) - On the Robustness of Pretraining and Self-Supervision for a Deep
Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
糖尿病網膜症における訓練方法の違いによる影響を比較検討した。
本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。
以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2021-06-25T08:32:45Z) - A Machine Learning Early Warning System: Multicenter Validation in
Brazilian Hospitals [4.659599449441919]
臨床劣化の早期認識は、入院患者の死亡率と死亡率を減らすための主要なステップの1つである。
Intensive Care Unit, ICUと比較して, 病院病棟は注目度が低いため, プラットフォームがERHのストリームに接続されている場合, 危険な状況に対する意識が大幅に改善する可能性が示唆された。
機械学習の適用により、システムは患者のすべての履歴を考慮し、高いパフォーマンスの予測モデルを使用することで、インテリジェントな早期警告システムを実現することができる。
論文 参考訳（メタデータ） (2020-06-09T21:21:38Z) - Self-Training with Improved Regularization for Sample-Efficient Chest
X-Ray Classification [80.00316465793702]
挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。
その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
論文 参考訳（メタデータ） (2020-05-03T02:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。