論文の概要: Amortized Learning of Dynamic Feature Scaling for Image Segmentation
- arxiv url: http://arxiv.org/abs/2304.05448v1
- Date: Tue, 11 Apr 2023 18:38:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 17:03:31.304456
- Title: Amortized Learning of Dynamic Feature Scaling for Image Segmentation
- Title(参考訳): 画像分割のための動的特徴スケーリングの償却学習
- Authors: Jose Javier Gonzalez Ortiz, John Guttag, Adrian Dalca
- Abstract要約: 本稿では,再スケーリング係数を条件としたCNNパラメータを生成するハイパーネットワーク戦略を提案する。
再スケーリング係数で条件付きCNNパラメータを生成する単一ハイパーネットワークのトレーニング方法を示す。
また、ある再スケーリング要因に対して、我々の単一のハイパーネットワークは、固定された再スケーリング要因でトレーニングされたCNNよりも優れています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional neural networks (CNN) have become the predominant model for
image segmentation tasks. Most CNN segmentation architectures resize spatial
dimensions by a fixed factor of two to aggregate spatial context. Recent work
has explored using other resizing factors to improve model accuracy for
specific applications. However, finding the appropriate rescaling factor most
often involves training a separate network for many different factors and
comparing the performance of each model. The computational burden of these
models means that in practice it is rarely done, and when done only a few
different scaling factors are considered.
In this work, we present a hypernetwork strategy that can be used to easily
and rapidly generate the Pareto frontier for the trade-off between accuracy and
efficiency as the rescaling factor varies. We show how to train a single
hypernetwork that generates CNN parameters conditioned on a rescaling factor.
This enables a user to quickly choose a rescaling factor that appropriately
balances accuracy and computational efficiency for their particular needs. We
focus on image segmentation tasks, and demonstrate the value of this approach
across various domains. We also find that, for a given rescaling factor, our
single hypernetwork outperforms CNNs trained with fixed rescaling factors.
- Abstract(参考訳): 畳み込みニューラルネットワーク(CNN)は画像分割タスクの主要なモデルとなっている。
ほとんどのCNNセグメンテーションアーキテクチャは、空間コンテキストを集約するために2の固定係数で空間次元を縮小する。
最近の研究は、特定のアプリケーションのモデル精度を改善するために、他のサイズ要因を用いて検討されている。
しかし、適切な再スケーリング要因を見つけるには、多くの異なる要因に対して別々のネットワークをトレーニングし、各モデルの性能を比較することがほとんどである。
これらのモデルの計算負荷は、実際には滅多に行われず、いくつかの異なるスケーリング要因しか考慮されないことを意味する。
本研究では,再スケーリング係数が変化するにつれて,精度と効率のトレードオフのためのParetoフロンティアを容易かつ迅速に生成できるハイパーネットワーク戦略を提案する。
再スケーリング係数で条件付きCNNパラメータを生成する単一ハイパーネットワークのトレーニング方法を示す。
これにより、ユーザーは特定のニーズに対して精度と計算効率を適切にバランスさせる再スケーリング係数を素早く選択できる。
我々はイメージセグメンテーションタスクに焦点をあて、このアプローチの価値を様々な領域にわたって示す。
また、ある再スケーリング要因に対して、我々の単一のハイパーネットワークは、固定された再スケーリング要因でトレーニングされたCNNよりも優れています。
関連論文リスト
- Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision
Post-Training Quantization [7.392278887917975]
本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。
実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
論文 参考訳(メタデータ) (2023-06-08T02:18:58Z) - SANE: The phases of gradient descent through Sharpness Adjusted Number
of Effective parameters [19.062678788410434]
ネットワークトレーニング中にヘッセン行列を考える。
シャープネス調整された有効パラメータ(SANE)は、大きな学習率に対して堅牢であることを示す。
我々は、大きな学習率で「ロス盆地」にまたがるエビデンスとヘッセンシフトを提示する。
論文 参考訳(メタデータ) (2023-05-29T13:29:31Z) - Adversarial training with informed data selection [53.19381941131439]
アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。
本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。
シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
論文 参考訳(メタデータ) (2023-01-07T12:09:50Z) - Precision Machine Learning [5.15188009671301]
様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。
ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。
我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
論文 参考訳(メタデータ) (2022-10-24T17:58:30Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z) - CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics [13.38218193857018]
畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクにおいて極めて優れた性能を示している。
CNNPrunerは、モデルのサイズや精度に関する望ましい目標に応じて、対話的にプルーニングプランを作成することができる。
論文 参考訳(メタデータ) (2020-09-08T02:08:20Z) - Learning to Learn Parameterized Classification Networks for Scalable
Input Images [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。
我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。
さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
論文 参考訳(メタデータ) (2020-07-13T04:27:25Z) - FocusLiteNN: High Efficiency Focus Quality Assessment for Digital
Pathology [42.531674974834544]
本稿では,ハードウェアの過剰な要求を伴わずに,知識駆動方式と同様の高速な計算を行うCNNベースのモデルを提案する。
FocusPathを使って、9つの異なる色の組織スライドを含むトレーニングデータセットを作成します。
CNNの複雑さを減らそうとする試みでは、CNNを最小レベルまで縮小しても、競争力の高いパフォーマンスを実現しているのが驚きです。
論文 参考訳(メタデータ) (2020-07-11T20:52:01Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳(メタデータ) (2020-02-21T17:35:50Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。