論文の概要: Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced
Medical Image Analysis
- arxiv url: http://arxiv.org/abs/2304.07461v2
- Date: Mon, 26 Jun 2023 03:35:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 23:11:14.631410
- Title: Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced
Medical Image Analysis
- Title(参考訳): β-rank:不均衡医用画像解析のためのロバスト畳み込みフィルタプルーニング法
- Authors: Morteza Homayounfar, Mohamad Koohi-Moghadam, Reza Rawassizadeh, Varut
Vardhanabhuti
- Abstract要約: ディープニューラルネットワークには、多数のパラメータと操作が含まれている。
計算資源が限られているデバイス上でこれらのモデルを実装するのは困難である。
本研究では,フィルタの入力と出力を,不均衡なデータセットを扱うフィルタの値とともに考慮し,新しいフィルタプルーニング手法を提案する。
- 参考スコア(独自算出の注目度): 1.3443196224057659
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As deep neural networks include a high number of parameters and operations,
it can be a challenge to implement these models on devices with limited
computational resources. Despite the development of novel pruning methods
toward resource-efficient models, it has become evident that these models are
not capable of handling "imbalanced" and "limited number of data points". We
proposed a novel filter pruning method by considering the input and output of
filters along with the values of the filters that deal with imbalanced datasets
better than others. Our pruning method considers the fact that all information
about the importance of a filter may not be reflected in the value of the
filter. Instead, it is reflected in the changes made to the data after the
filter is applied to it. In this work, three methods are compared with the same
training conditions except for the ranking values of each method, and 14
methods are compared from other papers. We demonstrated that our model
performed significantly better than other methods for imbalanced medical
datasets. For example, when we removed up to 58% of FLOPs for the IDRID dataset
and up to 45% for the ISIC dataset, our model was able to yield an equivalent
(or even superior) result to the baseline model. To evaluate FLOP and parameter
reduction using our model in real-world settings, we built a smartphone app,
where we demonstrated a reduction of up to 79% in memory usage and 72% in
prediction time. All codes and parameters for training different models are
available at https://github.com/mohofar/Beta-Rank
- Abstract(参考訳): ディープニューラルネットワークは多数のパラメータや演算を含むため、計算資源が限られているデバイス上でこれらのモデルを実装することは困難である。
資源効率のよいモデルに向けた新しい刈り取り手法の開発にもかかわらず、これらのモデルは「不均衡」と「限られた数のデータポイント」を扱うことができないことが判明した。
本研究では,フィルタの入力と出力を,不均衡なデータセットを扱うフィルタの値とともに考慮し,新しいフィルタプルーニング手法を提案する。
本手法は,フィルタの重要性に関するすべての情報がフィルタの値に反映されないことを考慮したものである。
代わりに、フィルタが適用された後にデータに行われた変更に反映される。
本研究では,各手法のランク付け値以外の3つの方法と同一の訓練条件を比較し,他の論文と14の方法を比較した。
本モデルは,不均衡な医療データセットに対して,他の手法よりも有意に優れた性能を示した。
例えば、IDRIDデータセットのFLOPの最大58%、ISICデータセットの最大45%を削除したとき、私たちのモデルはベースラインモデルに同等(あるいはさらに優れている)結果をもたらすことができました。
実際の環境でのモデルを用いたフロップとパラメータ低減を評価するために、スマートフォンアプリを構築し、最大79%のメモリ使用量と72%の予測時間を削減できることを実証した。
異なるモデルをトレーニングするためのすべてのコードとパラメータはhttps://github.com/mohofar/Beta-Rankで公開されている。
関連論文リスト
- From Data Deluge to Data Curation: A Filtering-WoRA Paradigm for Efficient Text-based Person Search [19.070305201045954]
テキストベースの人物検索では、プライバシ保護と手動アノテーションの困難なタスクに対する懸念に対処するため、データ生成が主流となっている。
構築されたデータセット内のデータのサブセットのみが決定的な役割を果たすことを観察する。
我々は、この重要なデータサブセットを識別するためのフィルタリングアルゴリズムと、光微細チューニングのためのWoRA学習戦略を含む新しいフィルタリング-WoRAパラダイムを導入する。
論文 参考訳(メタデータ) (2024-04-16T05:29:14Z) - Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳(メタデータ) (2023-07-01T02:28:41Z) - Filter Pruning based on Information Capacity and Independence [1.662966122370634]
畳み込みニューラルネットワーク(CNN)の圧縮と加速にフィルタプルーニングが広く用いられている
既存の手法の多くは、計算コストと偏りのあるフィルタ選択によって依然として挑戦されている。
本稿では,フィルタを解釈可能,多パーフェクティブ,データフリーな方法で評価する新しいフィルタプルーニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-07T04:26:44Z) - Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。
Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。
さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
論文 参考訳(メタデータ) (2023-01-02T07:13:28Z) - Entropy Induced Pruning Framework for Convolutional Neural Networks [30.89967076857665]
本稿では,各フィルタの重要性を測定するために,平均フィルタ情報エントロピー (AFIE) という指標を提案する。
提案手法は,元のモデルが十分に訓練されているかどうかに関わらず,各フィルタの安定性を評価できる。
論文 参考訳(メタデータ) (2022-08-13T14:35:08Z) - Adversarial Robustness through the Lens of Convolutional Filters [2.0305676256390934]
逆学習モデルで形成される3x3畳み込みフィルタについて検討する。
フィルタは、linf-RobustBench CIFAR-10/100とImageNet1kのリーダーボードの71のパブリックモデルから抽出される。
論文 参考訳(メタデータ) (2022-04-05T20:29:16Z) - Training Compact CNNs for Image Classification using Dynamic-coded
Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。
我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。
我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文 参考訳(メタデータ) (2021-07-14T18:07:38Z) - Deep Model Compression based on the Training History [13.916984628784768]
本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。
提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
論文 参考訳(メタデータ) (2021-01-30T06:04:21Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳(メタデータ) (2021-01-20T06:18:38Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳(メタデータ) (2020-10-28T15:26:40Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳(メタデータ) (2020-01-15T03:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。