論文の概要: IKD+: Reliable Low Complexity Deep Models For Retinopathy Classification

• arxiv url: http://arxiv.org/abs/2303.02310v1
• Date: Sat, 4 Mar 2023 03:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 20:22:08.262468
• Title: IKD+: Reliable Low Complexity Deep Models For Retinopathy Classification
• Title（参考訳）: IKD+:網膜症分類のための信頼性低複雑性深部モデル
• Authors: Shreyas Bhat Brahmavar, Rohit Rajesh, Tirtharaj Dash, Lovekesh Vig, Tanmay Tulsidas Verlekar, Md Mahmudul Hasan, Tariq Khan, Erik Meijering, Ashwin Srinivasan
• Abstract要約: 網膜症に対するディープニューラルネットワーク(DNN)モデルでは、90%中～90%の予測精度が推定されている。 最先端モデルは複雑で、訓練と展開には相当な計算インフラが必要である。 サイズ,精度,信頼性のトレードオフを取り入れた反復的知識蒸留(IKD)の形式をIKD+と呼ぶ。
• 参考スコア（独自算出の注目度）: 15.543363807730096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network (DNN) models for retinopathy have estimated predictive accuracies in the mid-to-high 90%. However, the following aspects remain unaddressed: State-of-the-art models are complex and require substantial computational infrastructure to train and deploy; The reliability of predictions can vary widely. In this paper, we focus on these aspects and propose a form of iterative knowledge distillation(IKD), called IKD+ that incorporates a tradeoff between size, accuracy and reliability. We investigate the functioning of IKD+ using two widely used techniques for estimating model calibration (Platt-scaling and temperature-scaling), using the best-performing model available, which is an ensemble of EfficientNets with approximately 100M parameters. We demonstrate that IKD+ equipped with temperature-scaling results in models that show up to approximately 500-fold decreases in the number of parameters than the original ensemble without a significant loss in accuracy. In addition, calibration scores (reliability) for the IKD+ models are as good as or better than the base mode
• Abstract（参考訳）: 網膜症に対するディープニューラルネットワーク(DNN)モデルでは、90%中～90%の予測精度が推定されている。 しかし、現状のモデルは複雑で、訓練と展開には相当な計算インフラが必要であり、予測の信頼性は様々である。 本稿では,これらの側面に注目し,サイズ,精度,信頼性のトレードオフを含むIKD+と呼ばれる反復的知識蒸留(IKD)の形式を提案する。 そこで本研究では,約100mのパラメータを持つ効率的ネットのアンサンブルであるベストパーパフォーミングモデルを用いて,モデルキャリブレーション(プレートスケーリングと温度スケーリング)を推定する2つの手法を用いて,ikd+の機能について検討した。 また,IKD+に温度スケーリングを施したモデルでは,500倍程度のパラメータ数が,精度を損なうことなく元のアンサンブルよりも小さくなることを示した。 さらに、IKD+モデルのキャリブレーションスコア(信頼性)はベースモードと同程度である。

関連論文リスト

• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• ContactNet: Geometric-Based Deep Learning Model for Predicting Protein-Protein Interactions [2.874893537471256]
  我々は,PPIモデルを正確かつ誤ったものに分類するための新しい注目型グラフニューラルネットワーク(GNN)であるContactNetを開発した。 ドッキング抗原やモデル抗体構造を訓練すると、ContactNetは現在の最先端のスコアリング機能の精度を2倍にする。
  論文  参考訳（メタデータ） (2024-06-26T12:54:41Z)
• Fast Cell Library Characterization for Design Technology Co-Optimization Based on Graph Neural Networks [0.1752969190744922]
  設計技術の共同最適化(DTCO)は、最適パワー、性能、領域を達成する上で重要な役割を果たす。 本稿では,高速かつ正確なセルライブラリ解析のためのグラフニューラルネットワーク(GNN)に基づく機械学習モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-20T06:10:27Z)
• Comparative Analysis of Epileptic Seizure Prediction: Exploring Diverse Pre-Processing Techniques and Machine Learning Models [0.0]
  脳波データを用いたてんかん発作予測のための5つの機械学習モデルの比較分析を行った。 本分析の結果は,各モデルの性能を精度で示すものである。 ETモデルは99.29%の精度で最高の性能を示した。
  論文  参考訳（メタデータ） (2023-08-06T08:50:08Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• Enhanced physics-constrained deep neural networks for modeling vanadium redox flow battery [62.997667081978825]
  本稿では,物理制約付き深部ニューラルネットワーク(PCDNN)による高精度電圧予測手法を提案する。 ePCDNNは、電圧放電曲線のテール領域を含む電荷放電サイクルを通して、電圧応答を正確にキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-03-03T19:56:24Z)
• Semi-supervised teacher-student deep neural network for materials discovery [6.333015476935593]
  本稿では,高速な生成エネルギーと合成可能性予測のための半教師付き深層ニューラルネットワーク(TSDNN)モデルを提案する。 生成エネルギーに基づく安定性スクリーニングでは,ベースラインCGCNN回帰モデルと比較して絶対精度が10.3%向上する。 合成可能性予測では,1/49モデルパラメータを用いて,ベースラインPU学習の正の確率を87.9%から97.9%に有意に向上させた。
  論文  参考訳（メタデータ） (2021-12-12T04:00:21Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks [18.241639570479563]
  ディープニューラルネットワーク(DNN)は、小さな入力摂動が破滅的な誤分類を生じさせる敵の攻撃に対して脆弱である。 敵攻撃に対するロバスト性を高めるための新しいアプローチとして,異なる数値精度を持つ量子化DNNモデルのアンサンブルであるEMPIRを提案する。 EMPIRは、MNIST、CIFAR-10、ImageNetデータセットでトレーニングされたDNNモデルに対して、平均対向精度を42.6%、15.2%、10.5%向上させることを示す。
  論文  参考訳（メタデータ） (2020-04-21T17:17:09Z)
• Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
  ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。 焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。 ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
  論文  参考訳（メタデータ） (2020-02-21T17:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。