論文の概要: PePR: Performance Per Resource Unit as a Metric to Promote Small-Scale Deep Learning in Medical Image Analysis
- arxiv url: http://arxiv.org/abs/2403.12562v2
- Date: Thu, 05 Dec 2024 11:57:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-06 14:38:46.804923
- Title: PePR: Performance Per Resource Unit as a Metric to Promote Small-Scale Deep Learning in Medical Image Analysis
- Title（参考訳）: PePR:医療画像解析における大規模深層学習を促進する指標としての資源単位の性能
- Authors: Raghavendra Selvan, Bob Pepin, Christian Igel, Gabrielle Samuel, Erik B Dam,
- Abstract要約: 大規模リソースは、徐々に大きなディープラーニングモデルを訓練するために使われてきた。
これらのコストは、そのような規模のリソースへのアクセスが限られている研究者や実践者にとって、新たなタイプの参入障壁になりつつある。
医療画像解析タスクにおける既存のDLモデルの展望を概観し,資源が限られている環境での有用性を実証する。
- 参考スコア（独自算出の注目度）: 6.474195280156721
- License:
- Abstract: The recent advances in deep learning (DL) have been accelerated by access to large-scale data and compute. These large-scale resources have been used to train progressively larger models which are resource intensive in terms of compute, data, energy, and carbon emissions. These costs are becoming a new type of entry barrier to researchers and practitioners with limited access to resources at such scale, particularly in the Global South. In this work, we take a comprehensive look at the landscape of existing DL models for medical image analysis tasks and demonstrate their usefulness in settings where resources are limited. To account for the resource consumption of DL models, we introduce a novel measure to estimate the performance per resource unit, which we call the PePR score. Using a diverse family of 131 unique DL architectures (spanning 1M to 130M trainable parameters) and three medical image datasets, we capture trends about the performance-resource trade-offs. In applications like medical image analysis, we argue that small-scale, specialized models are better than striving for large-scale models. Furthermore, we show that using existing pretrained models that are fine-tuned on new data can significantly reduce the computational resources and data required compared to training models from scratch. We hope this work will encourage the community to focus on improving AI equity by developing methods and models with smaller resource footprints.
- Abstract（参考訳）: 近年のディープラーニング(DL)の進歩は,大規模データへのアクセスと計算によって加速されている。
これらの大規模資源は、計算、データ、エネルギー、炭素排出量の点で資源集約的な、徐々に大きなモデルを訓練するために使われてきた。
これらのコストは、特にグローバル・サウスでは、そのような規模のリソースへのアクセスが限られている研究者や実践者にとって、新たなタイプの参入障壁になりつつある。
本研究では,医療画像解析タスクにおける既存のDLモデルの展望を概観し,資源が限られている環境での有用性を実証する。
DLモデルの資源消費を考慮し,資源単位当たりの性能を推定する新たな尺度を導入し,これをPePRスコアと呼ぶ。
131のユニークなDLアーキテクチャ(1Mから130Mのトレーニング可能なパラメータ)と3つの医用画像データセットの多種多様なファミリを使用して、パフォーマンスとリソースのトレードオフに関するトレンドを捉えます。
医用画像解析のような応用において、我々は、大規模モデルのために努力するよりも、小規模で専門的なモデルの方が優れていると論じる。
さらに、新しいデータに基づいて微調整された既存の事前学習モデルを使用することで、スクラッチからトレーニングモデルに比較して計算資源やデータを大幅に削減できることを示す。
この取り組みは、より小さなリソースフットプリントを持つ方法やモデルを開発することによって、AIのエクイティを改善することに注力することをコミュニティに促すことを願っている。
関連論文リスト
- MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。
我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。
また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
論文 参考訳（メタデータ） (2024-04-09T15:36:50Z) - Adaptive Affinity-Based Generalization For MRI Imaging Segmentation Across Resource-Limited Settings [1.5703963908242198]
本稿では,適応親和性に基づく蒸留とカーネルベースの蒸留をシームレスに組み合わせた,新しい関係に基づく知識フレームワークを提案する。
革新的アプローチを検証するために,我々は公開されている複数ソースのMRIデータについて実験を行った。
論文 参考訳（メタデータ） (2024-04-03T13:35:51Z) - Promising and worth-to-try future directions for advancing
state-of-the-art surrogates methods of agent-based models in social and
health computational sciences [0.0]
現実的な大規模AMMのためのモデルベース解析ツールの実行と実行性能は、過度に長い可能性がある。
このアドホックな簡潔なレポートの主目的は、非線形力学モデルに対して適切で計算的に要求の少ないシュロゲートモデルをいくつか強調することである。
論文 参考訳（メタデータ） (2024-03-07T11:30:56Z) - Less is more: Ensemble Learning for Retinal Disease Recognition Under
Limited Resources [12.119196313470887]
本稿では,限られた資源で網膜疾患を認識できる新しいアンサンブル学習機構を提案する。
このメカニズムは、複数の事前訓練されたモデルからの洞察を活用し、その知識を網膜CT画像に転送し適応させる。
論文 参考訳（メタデータ） (2024-02-15T06:58:25Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳（メタデータ） (2023-10-16T06:16:47Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-15T17:55:05Z) - Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。
具体的には、Webで収集したCoyo-700Mデータセットを利用する。
我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
論文 参考訳（メタデータ） (2023-05-24T15:33:46Z) - Operating critical machine learning models in resource constrained
regimes [0.18416014644193066]
本研究では,資源消費とディープラーニングモデルの性能のトレードオフについて検討する。
ディープラーニングモデルは、クリニックのようなクリティカルな環境で使用される。
論文 参考訳（メタデータ） (2023-03-17T12:02:08Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳（メタデータ） (2021-06-07T11:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。