論文の概要: Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced
Medical Image Analysis
- arxiv url: http://arxiv.org/abs/2304.07461v1
- Date: Sat, 15 Apr 2023 03:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 19:03:34.331548
- Title: Beta-Rank: A Robust Convolutional Filter Pruning Method For Imbalanced
Medical Image Analysis
- Title(参考訳): β-rank:不均衡医用画像解析のためのロバスト畳み込みフィルタプルーニング法
- Authors: Morteza Homayounfar, Mohamad Koohi-Moghadam, Reza Rawassizadeh, Varut
Vardhanabhuti
- Abstract要約: 本研究では,各手法のランク付け以外の3つの手法を同一の訓練条件と比較する。
我々は,本モデルが本質的に不均衡な他の医療データセットの手法よりも有意に優れていたことを実証した。
実世界の環境でのFLOPとパラメータの削減を評価するために,我々はスマートフォンアプリを構築し,最大79%のメモリ使用率,72%の予測時間を削減した。
- 参考スコア(独自算出の注目度): 1.3443196224057659
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As deep neural networks include a high number of parameters and operations,
it can be a challenge to implement these models on devices with limited
computational resources. Despite the development of novel pruning methods
toward resource-efficient models, it has become evident that these models are
not capable of handling "imbalanced" and "limited number of data points". With
input and output information, along with the values of the filters, a novel
filter pruning method is proposed. Our pruning method considers the fact that
all information about the importance of a filter may not be reflected in the
value of the filter. Instead, it is reflected in the changes made to the data
after the filter is applied to it. In this work, three methods are compared
with the same training conditions except for the ranking of each method. We
demonstrated that our model performed significantly better than other methods
for medical datasets which are inherently imbalanced. When we removed up to 58%
of FLOPs for the IDRID dataset and up to 45% for the ISIC dataset, our model
was able to yield an equivalent (or even superior) result to the baseline model
while other models were unable to achieve similar results. To evaluate FLOP and
parameter reduction using our model in real-world settings, we built a
smartphone app, where we demonstrated a reduction of up to 79% in memory usage
and 72% in prediction time. All codes and parameters for training different
models are available at https://github.com/mohofar/Beta-Rank
- Abstract(参考訳): ディープニューラルネットワークは多数のパラメータや演算を含むため、計算資源が限られているデバイス上でこれらのモデルを実装することは困難である。
資源効率のよいモデルに向けた新しい刈り取り手法の開発にもかかわらず、これらのモデルは「不均衡」と「限られた数のデータポイント」を扱うことができないことが判明した。
入力および出力情報とともにフィルタの値とともに,新しいフィルタプルーニング法を提案する。
本手法は,フィルタの重要性に関するすべての情報がフィルタの値に反映されないことを考慮したものである。
代わりに、フィルタが適用された後にデータに行われた変更に反映される。
本研究では,各手法のランク付け以外の3つの手法を同一の訓練条件と比較する。
我々は,本モデルが本質的に不均衡な医療データセットの他の手法よりも有意に優れていることを示した。
IDRIDデータセットのFLOPの最大58%、ISICデータセットの最大45%を除去すると、我々のモデルはベースラインモデルと同等(あるいはさらに優れている)結果を得ることができ、他のモデルも同様の結果を得ることができなかった。
実際の環境でのモデルを用いたフロップとパラメータ低減を評価するために、スマートフォンアプリを構築し、最大79%のメモリ使用量と72%の予測時間を削減できることを実証した。
異なるモデルをトレーニングするためのすべてのコードとパラメータはhttps://github.com/mohofar/Beta-Rankで公開されている。
関連論文リスト
- From Data Deluge to Data Curation: A Filtering-WoRA Paradigm for Efficient Text-based Person Search [19.070305201045954]
テキストベースの人物検索では、プライバシ保護と手動アノテーションの困難なタスクに対する懸念に対処するため、データ生成が主流となっている。
構築されたデータセット内のデータのサブセットのみが決定的な役割を果たすことを観察する。
我々は、この重要なデータサブセットを識別するためのフィルタリングアルゴリズムと、光微細チューニングのためのWoRA学習戦略を含む新しいフィルタリング-WoRAパラダイムを導入する。
論文 参考訳(メタデータ) (2024-04-16T05:29:14Z) - Filter Pruning for Efficient CNNs via Knowledge-driven Differential
Filter Sampler [103.97487121678276]
フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。
本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
論文 参考訳(メタデータ) (2023-07-01T02:28:41Z) - Filter Pruning based on Information Capacity and Independence [1.662966122370634]
畳み込みニューラルネットワーク(CNN)の圧縮と加速にフィルタプルーニングが広く用いられている
既存の手法の多くは、計算コストと偏りのあるフィルタ選択によって依然として挑戦されている。
本稿では,フィルタを解釈可能,多パーフェクティブ,データフリーな方法で評価する新しいフィルタプルーニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-07T04:26:44Z) - Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。
Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。
さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
論文 参考訳(メタデータ) (2023-01-02T07:13:28Z) - Entropy Induced Pruning Framework for Convolutional Neural Networks [30.89967076857665]
本稿では,各フィルタの重要性を測定するために,平均フィルタ情報エントロピー (AFIE) という指標を提案する。
提案手法は,元のモデルが十分に訓練されているかどうかに関わらず,各フィルタの安定性を評価できる。
論文 参考訳(メタデータ) (2022-08-13T14:35:08Z) - Adversarial Robustness through the Lens of Convolutional Filters [2.0305676256390934]
逆学習モデルで形成される3x3畳み込みフィルタについて検討する。
フィルタは、linf-RobustBench CIFAR-10/100とImageNet1kのリーダーボードの71のパブリックモデルから抽出される。
論文 参考訳(メタデータ) (2022-04-05T20:29:16Z) - Training Compact CNNs for Image Classification using Dynamic-coded
Filter Fusion [139.71852076031962]
動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。
我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。
我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
論文 参考訳(メタデータ) (2021-07-14T18:07:38Z) - Deep Model Compression based on the Training History [13.916984628784768]
本稿では,ネットワークトレーニング履歴をフィルタプルーニングに用いるヒストリベースフィルタプルーニング手法を提案する。
提案手法は, LeNet-5, VGG-16, ResNet-56, ResNet-110 の各モデルに対して, FLOPs の 97.98%, 83.42%, 78.43%, 74.95% を削減した。
論文 参考訳(メタデータ) (2021-01-30T06:04:21Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳(メタデータ) (2021-01-20T06:18:38Z) - Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。
本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
論文 参考訳(メタデータ) (2020-10-28T15:26:40Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳(メタデータ) (2020-01-15T03:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。