論文の概要: EPEE: Towards Efficient and Effective Foundation Models in Biomedicine

• arxiv url: http://arxiv.org/abs/2503.02053v1
• Date: Mon, 03 Mar 2025 21:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:53.420568
• Title: EPEE: Towards Efficient and Effective Foundation Models in Biomedicine
• Title（参考訳）: EPEE:バイオメディシンの効率的かつ効果的な基礎モデルを目指して
• Authors: Zaifu Zhan, Shuang Zhou, Huixue Zhou, Zirui Liu, Rui Zhang,
• Abstract要約: 基礎モデルの推論効率を向上させるためにEPEE(Entropy- and Patience-based Early Exiting)を提案する。 我々は,3つの中核的バイオメディカルタスクの分類,関係抽出,イベント抽出を基礎とした4つの基礎モデルの実験を行った。 その結果,EPEEは推測時間を大幅に短縮し,精度を維持・改善した。
• 参考スコア（独自算出の注目度）: 11.51048064673345
• License:
• Abstract: Foundation models, including language models, e.g., GPT, and vision models, e.g., CLIP, have significantly advanced numerous biomedical tasks. Despite these advancements, the high inference latency and the "overthinking" issues in model inference impair the efficiency and effectiveness of foundation models, thus limiting their application in real-time clinical settings. To address these challenges, we proposed EPEE (Entropy- and Patience-based Early Exiting), a novel hybrid strategy designed to improve the inference efficiency of foundation models. The core idea was to leverage the strengths of entropy-based and patience-based early exiting methods to overcome their respective weaknesses. To evaluate EPEE, we conducted experiments on three core biomedical tasks-classification, relation extraction, and event extraction-using four foundation models (BERT, ALBERT, GPT-2, and ViT) across twelve datasets, including clinical notes and medical images. The results showed that EPEE significantly reduced inference time while maintaining or improving accuracy, demonstrating its adaptability to diverse datasets and tasks. EPEE addressed critical barriers to deploying foundation models in healthcare by balancing efficiency and effectiveness. It potentially provided a practical solution for real-time clinical decision-making with foundation models, supporting reliable and efficient workflows.
• Abstract（参考訳）: 言語モデル、例えばGPT、視覚モデル、例えばCLIPを含む基礎モデルは、多くのバイオメディカルタスクを大幅に進歩させた。 これらの進歩にもかかわらず、モデル推論における高い推論遅延と「過度に考える」問題は基礎モデルの効率と有効性を損なうため、リアルタイム臨床環境での応用は制限される。 これらの課題に対処するため、我々は、基礎モデルの推論効率を改善するために設計された新しいハイブリッド戦略EPEE(Entropy- and Patience-based Early Exiting)を提案した。 中心となる考え方は、エントロピーと忍耐力に基づく早期退避手法の強みを活用して、それぞれの弱点を克服することであった。 EPEEを評価するため,臨床ノートや医用画像を含む12のデータセットを対象に,3つの中核的バイオメディカルタスク分類,関係抽出,イベント抽出を用いた基礎モデル(BERT,ALBERT,GPT-2,ViT)について実験を行った。 その結果,EPEEは精度を維持・改善しながら推論時間を著しく短縮し,多様なデータセットやタスクへの適応性を示した。 EPEEは、効率性と効率性のバランスをとることによって、基礎モデルを医療に展開する上で重要な障壁に対処した。 ファンデーションモデルによるリアルタイム臨床意思決定のための実用的なソリューションを提供する可能性があり、信頼性と効率的なワークフローをサポートする。

関連論文リスト

• Health AI Developer Foundations [18.690656891269686]
  Health AI Developer Foundations(HAI-DEF)は、トレーニング済み、ドメイン固有の基礎モデル、ツール、レシピのスイートで、ヘルスアプリケーションのための機械学習の構築を加速する。 モデルは、放射線学(X線とCT)、病理学、皮膚画像、オーディオなど、様々なモダリティや領域をカバーする。 これらのモデルは、ラベル付きデータが少なく、トレーニング時間が短く、計算コストが削減されたAI開発を容易にする、ドメイン固有の埋め込みを提供する。
  論文  参考訳（メタデータ） (2024-11-22T18:51:51Z)
• How Deep is your Guess? A Fresh Perspective on Deep Learning for Medical Time-Series Imputation [6.547981908229007]
  アーキテクチャとフレームワークのバイアスがモデルのパフォーマンスにどのように影響するかを示します。 実験では、プリプロセッシングと実装の選択に基づいて、最大20%の性能変化を示す。 我々は,現在の深層計算法と医療要件の相違点を同定する。
  論文  参考訳（メタデータ） (2024-07-11T12:33:28Z)
• Robust and Explainable Framework to Address Data Scarcity in Diagnostic Imaging [6.744847405966574]
  Efficient Transfer and Self-supervised Learning based Ensemble Framework (ETSEF) と呼ばれる新しいアンサンブルフレームワークを導入する。 ETSEFは、訓練済みの複数のディープラーニングモデルの特徴を活用して、限られたデータサンプルから強力な表現を効率的に学習する。 内視鏡検査,乳がん,サルポックス,脳腫瘍,緑内障検出,緑内障検出の5つの独立した医療画像検査を行い,ETSEFの有効性と堅牢性について検討した。
  論文  参考訳（メタデータ） (2024-07-09T05:48:45Z)
• Deployment of a Robust and Explainable Mortality Prediction Model: The COVID-19 Pandemic and Beyond [0.59374762912328]
  本研究では、新型コロナウイルスのパンデミック以降の死亡率予測におけるAIモデルの有効性、説明可能性、堅牢性について検討した。
  論文  参考訳（メタデータ） (2023-11-28T18:15:53Z)
• Clairvoyance: A Pipeline Toolkit for Medical Time Series [95.22483029602921]
  時系列学習は、データ駆動の*クリニカルな意思決定支援のパンとバターである* Clairvoyanceは、ソフトウェアツールキットとして機能する、統合されたエンドツーエンドのオートMLフレンドリなパイプラインを提案する。 Clairvoyanceは、臨床時系列MLのための包括的で自動化可能なパイプラインの生存可能性を示す最初のものである。
  論文  参考訳（メタデータ） (2023-10-28T12:08:03Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Leveraging Pretrained Representations with Task-related Keywords for Alzheimer's Disease Detection [69.53626024091076]
  アルツハイマー病(AD)は高齢者に特に顕著である。 事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。 本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-14T16:03:28Z)
• COPER: Continuous Patient State Perceiver [13.735956129637945]
  本研究では,ERHにおける不規則な時系列に対処するため,COPERと呼ばれる新規患者状態パーセンシバーモデルを提案する。 ニューラル常微分方程式(ODE)は、COPERが通常の時系列を生成してPerceiverモデルに供給するのに役立ちます。 提案モデルの性能評価には,MIMIC-IIIデータセット上での院内死亡予測タスクを用いる。
  論文  参考訳（メタデータ） (2022-08-05T14:32:57Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。