論文の概要: Resource-efficient Medical Image Analysis with Self-adapting Forward-Forward Networks
- arxiv url: http://arxiv.org/abs/2406.14038v2
- Date: Wed, 17 Jul 2024 11:35:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 21:47:53.644291
- Title: Resource-efficient Medical Image Analysis with Self-adapting Forward-Forward Networks
- Title（参考訳）: 自己適応型フォワードネットワークを用いた資源効率の高い医用画像解析
- Authors: Johanna P. Müller, Bernhard Kainz,
- Abstract要約: 医療画像解析のための高速自己適応型フォワードネットワーク(SaFF-Net)を提案する。
CFFAは、高度な画像解析に適したパラメータ効率の補正であり、元のFFAの速度と一般化の制約を克服する。
提案手法により、より効果的なモデルトレーニングが可能となり、FFAにおいて任意に選択されたグッドネス関数に対して、これまで必要とされていた要求を排除できる。
- 参考スコア（独自算出の注目度）: 7.202078342390581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a fast Self-adapting Forward-Forward Network (SaFF-Net) for medical imaging analysis, mitigating power consumption and resource limitations, which currently primarily stem from the prevalent reliance on back-propagation for model training and fine-tuning. Building upon the recently proposed Forward-Forward Algorithm (FFA), we introduce the Convolutional Forward-Forward Algorithm (CFFA), a parameter-efficient reformulation that is suitable for advanced image analysis and overcomes the speed and generalisation constraints of the original FFA. To address hyper-parameter sensitivity of FFAs we are also introducing a self-adapting framework SaFF-Net fine-tuning parameters during warmup and training in parallel. Our approach enables more effective model training and eliminates the previously essential requirement for an arbitrarily chosen Goodness function in FFA. We evaluate our approach on several benchmarking datasets in comparison with standard Back-Propagation (BP) neural networks showing that FFA-based networks with notably fewer parameters and function evaluations can compete with standard models, especially, in one-shot scenarios and large batch sizes. The code will be available at the time of the conference.
- Abstract（参考訳）: 本稿では,医療画像解析,省電力化,資源制限のための高速自己適応型フォワードネットワーク(SaFF-Net)について紹介する。
最近提案されたフォワード・フォワード・アルゴリズム(FFA)に基づいて、先進的な画像解析に適したパラメータ効率のアルゴリズムである畳み込みフォワード・フォワード・アルゴリズム(CFFA)を導入し、元のFFAの速度と一般化の制約を克服する。
FFAのハイパーパラメータ感度に対処するため、ウォームアップと並列トレーニングの間に、自己適応型のフレームワークSaFF-Netファインチューニングパラメータも導入しています。
提案手法により、より効果的なモデルトレーニングが可能となり、FFAにおいて任意に選択されたグッドネス関数に対して、これまで必要とされていた要求を排除できる。
我々は、標準的なバックプロパゲーション(BP)ニューラルネットワークと比較して、いくつかのベンチマークデータセットに対するアプローチを評価し、特にワンショットシナリオや大きなバッチサイズにおいて、パラメータや関数評価の少ないFFAベースのネットワークが標準モデルと競合できることを示す。
コードはカンファレンスの時点で利用可能になる。
関連論文リスト
- In-Context Freeze-Thaw Bayesian Optimization for Hyperparameter Optimization [35.74766507227412]
フリーズソー型BOの新しいサロゲートであるFT-PFNを提案する。
FT-PFN(FT-PFN)は、トランスフォーマーのテキスト内学習能力を活用する事前データ対応ネットワーク(PFN)である。
新たな取得機構 (I-random) と組み合わせることで,ifBO法により新しい最先端性能が得られることを示す。
論文 参考訳（メタデータ） (2024-04-25T17:40:52Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - PRISTA-Net: Deep Iterative Shrinkage Thresholding Network for Coded
Diffraction Patterns Phase Retrieval [6.982256124089]
位相検索は、計算画像および画像処理における非線型逆問題である。
我々は,1次反復しきい値しきい値アルゴリズム(ISTA)に基づく深層展開ネットワークであるPRISTA-Netを開発した。
非線形変換,しきい値,ステップサイズなど,提案するPRISTA-Netフレームワークのパラメータはすべて,設定されるのではなく,エンドツーエンドで学習される。
論文 参考訳（メタデータ） (2023-09-08T07:37:15Z) - Forward-Forward Algorithm for Hyperspectral Image Classification: A
Preliminary Study [0.0]
フォワードフォワードアルゴリズム(FFA)は、ネットワークパラメータを最適化するために局所良性関数を計算する。
本研究では,FFAのハイパースペクトル画像分類への応用について検討した。
論文 参考訳（メタデータ） (2023-07-01T05:39:28Z) - Learning to Precode for Integrated Sensing and Communications Systems [11.689567114100514]
我々はISACシステムのための送信プリコーダを設計するための教師なし学習ニューラルモデルを提案する。
提案手法は,チャネル推定誤差が存在する場合,従来の最適化手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-11T11:24:18Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳（メタデータ） (2020-05-20T11:11:47Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。