論文の概要: Scale-Space Hypernetworks for Efficient Biomedical Imaging
- arxiv url: http://arxiv.org/abs/2304.05448v2
- Date: Thu, 29 Jun 2023 16:34:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 16:44:32.641865
- Title: Scale-Space Hypernetworks for Efficient Biomedical Imaging
- Title(参考訳): バイオメディカルイメージングのためのスケールスペースハイパーネット
- Authors: Jose Javier Gonzalez Ortiz, John Guttag, Adrian Dalca
- Abstract要約: 内部再スケーリング要因の異なるCNNのスペクトルを学習するSSHN(Scale-Space HyperNetworks)を導入する。
SSHNはトレーニングコストのごく一部で、より優れた精度と効率のトレードオフを提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional Neural Networks (CNNs) are the predominant model used for a
variety of medical image analysis tasks. At inference time, these models are
computationally intensive, especially with volumetric data. In principle, it is
possible to trade accuracy for computational efficiency by manipulating the
rescaling factor in the downsample and upsample layers of CNN architectures.
However, properly exploring the accuracy-efficiency trade-off is prohibitively
expensive with existing models. To address this, we introduce Scale-Space
HyperNetworks (SSHN), a method that learns a spectrum of CNNs with varying
internal rescaling factors. A single SSHN characterizes an entire Pareto
accuracy-efficiency curve of models that match, and occasionally surpass, the
outcomes of training many separate networks with fixed rescaling factors. We
demonstrate the proposed approach in several medical image analysis
applications, comparing SSHN against strategies with both fixed and dynamic
rescaling factors. We find that SSHN consistently provides a better
accuracy-efficiency trade-off at a fraction of the training cost. Trained SSHNs
enable the user to quickly choose a rescaling factor that appropriately
balances accuracy and computational efficiency for their particular needs at
inference.
- Abstract(参考訳): 畳み込みニューラルネットワーク(CNN)は、様々な医療画像解析タスクに使用される主要なモデルである。
推論時には、これらのモデルは特に体積データに対して計算集約的である。
原則として、CNNアーキテクチャのダウンサンプル層とアップサンプル層の再スケーリング係数を演算することにより、計算効率の精度を交換することができる。
しかし、既存のモデルでは、精度と効率のトレードオフを適切に調査することは違法に高価である。
そこで本研究では,内部再スケーリング要因の異なるCNNのスペクトルを学習するSSHN(Scale-Space HyperNetworks)を提案する。
1つのSSHNは、固定された再スケーリング係数を持つ多数の異なるネットワークをトレーニングした結果と一致し、時折超えているモデルのパレート精度効率曲線全体を特徴付ける。
提案手法は,SSHNを固定因子および動的再スケーリング因子の戦略と比較し,いくつかの医用画像解析アプリケーションで実証した。
SSHNはトレーニングコストのごく一部で、より精度と効率のよいトレードオフを一貫して提供しています。
トレーニングされたSSHNは、推論時に特定のニーズに対して精度と計算効率を適切にバランスさせる再スケーリング係数を素早く選択することができる。
関連論文リスト
- Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision
Post-Training Quantization [7.392278887917975]
本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。
実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
論文 参考訳(メタデータ) (2023-06-08T02:18:58Z) - SANE: The phases of gradient descent through Sharpness Adjusted Number
of Effective parameters [19.062678788410434]
ネットワークトレーニング中にヘッセン行列を考える。
シャープネス調整された有効パラメータ(SANE)は、大きな学習率に対して堅牢であることを示す。
我々は、大きな学習率で「ロス盆地」にまたがるエビデンスとヘッセンシフトを提示する。
論文 参考訳(メタデータ) (2023-05-29T13:29:31Z) - Adversarial training with informed data selection [53.19381941131439]
アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。
本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。
シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
論文 参考訳(メタデータ) (2023-01-07T12:09:50Z) - Precision Machine Learning [5.15188009671301]
様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。
ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。
我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
論文 参考訳(メタデータ) (2022-10-24T17:58:30Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z) - CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics [13.38218193857018]
畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクにおいて極めて優れた性能を示している。
CNNPrunerは、モデルのサイズや精度に関する望ましい目標に応じて、対話的にプルーニングプランを作成することができる。
論文 参考訳(メタデータ) (2020-09-08T02:08:20Z) - Learning to Learn Parameterized Classification Networks for Scalable
Input Images [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。
我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。
さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
論文 参考訳(メタデータ) (2020-07-13T04:27:25Z) - FocusLiteNN: High Efficiency Focus Quality Assessment for Digital
Pathology [42.531674974834544]
本稿では,ハードウェアの過剰な要求を伴わずに,知識駆動方式と同様の高速な計算を行うCNNベースのモデルを提案する。
FocusPathを使って、9つの異なる色の組織スライドを含むトレーニングデータセットを作成します。
CNNの複雑さを減らそうとする試みでは、CNNを最小レベルまで縮小しても、競争力の高いパフォーマンスを実現しているのが驚きです。
論文 参考訳(メタデータ) (2020-07-11T20:52:01Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳(メタデータ) (2020-02-21T17:35:50Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。