論文の概要: Conservative & Aggressive NaNs Accelerate U-Nets for Neuroimaging
- arxiv url: http://arxiv.org/abs/2601.17180v1
- Date: Fri, 23 Jan 2026 21:13:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:07.322592
- Title: Conservative & Aggressive NaNs Accelerate U-Nets for Neuroimaging
- Title（参考訳）: 神経イメージングのための保存的・攻撃的NaNはU-Netを加速する
- Authors: Inés Gonzalez-Pepe, Vinuyan Sivakolunthu, Jacob Fortin, Yohan Chatelain, Tristan Glatard,
- Abstract要約: 一部のモデルでは、畳み込み操作の最大3分の2は冗長に見える。
我々は、最大プールとアンプールの2つの新しい変種である、保守的・攻撃的NaNを紹介する。
ニューロイメージングと画像分類タスクにまたがる4つのCNNモデルに対して,これらのアプローチを評価する。
- 参考スコア（独自算出の注目度）: 1.0602247913671219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models for neuroimaging increasingly rely on large architectures, making efficiency a persistent concern despite advances in hardware. Through an analysis of numerical uncertainty of convolutional neural networks (CNNs), we observe that many operations are applied to values dominated by numerical noise and have negligible influence on model outputs. In some models, up to two-thirds of convolution operations appear redundant. We introduce Conservative & Aggressive NaNs, two novel variants of max pooling and unpooling that identify numerically unstable voxels and replace them with NaNs, allowing subsequent layers to skip computations on irrelevant data. Both methods are implemented within PyTorch and require no architectural changes. We evaluate these approaches on four CNN models spanning neuroimaging and image classification tasks. For inputs containing at least 50% NaNs, we observe consistent runtime improvements; for data with more than two-thirds NaNs )common in several neuroimaging settings) we achieve an average inference speedup of 1.67x. Conservative NaNs reduces convolution operations by an average of 30% across models and datasets, with no measurable performance degradation, and can skip up to 64.64% of convolutions in specific layers. Aggressive NaNs can skip up to 69.30% of convolutions but may occasionally affect performance. Overall, these methods demonstrate that numerical uncertainty can be exploited to reduce redundant computation and improve inference efficiency in CNNs.
- Abstract（参考訳）: ニューロイメージングのためのディープラーニングモデルは、ますます大きなアーキテクチャに依存しており、ハードウェアの進歩にもかかわらず、効率性は永続的な関心事となっている。
畳み込みニューラルネットワーク(CNN)の数値的不確実性の解析を通じて、多くの演算が数値ノイズに支配される値に適用され、モデル出力に無視できる影響を持つことを示した。
一部のモデルでは、畳み込み操作の最大3分の2は冗長に見える。
我々は、数値的に不安定なボクセルを識別し、それらをNaNに置き換える、最大プールとアンプールの2つの新しい変種であるReserve & Aggressive NaNを紹介する。
どちらのメソッドもPyTorch内に実装されており、アーキテクチャの変更は必要ない。
ニューロイメージングと画像分類タスクにまたがる4つのCNNモデルに対して,これらのアプローチを評価する。
50%以上のNaNを含む入力に対して、一貫した実行時改善を観測し、いくつかのニューロイメージング環境では3分の2以上のNaNを持つデータに対して平均1.67倍の推論速度を達成する。
保守的なNaNsは、モデルやデータセット間の畳み込み操作を平均30%削減し、測定可能なパフォーマンス劣化を伴わず、特定のレイヤでの畳み込みの最大64.64%をスキップすることができる。
攻撃的なNaNは69.30%の畳み込みをスキップできるが、時には性能に影響することがある。
これらの手法は, 冗長計算の削減とCNNの推論効率の向上に有効であることを示す。
関連論文リスト
- S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。
最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。
1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
論文 参考訳（メタデータ） (2025-09-29T04:17:44Z) - Integer Binary-Range Alignment Neuron for Spiking Neural Networks [30.778583483869426]
スパイキングニューラルネットワーク(SNN)は、脳に似た計算とエネルギー効率で有名だが、表現能力の制限による画像分類やオブジェクト検出といったタスクでは、人工知能ニューラルネットワーク(ANN)よりも遅れている。
スパイキングニューロンの情報表現能力を指数関数的に拡張する新しいスパイキングニューロンBinary-Range Alignment Leaky Integrate-and-Fireを提案する。
論文 参考訳（メタデータ） (2025-06-06T02:05:33Z) - Efficient Deployment of Spiking Neural Networks on SpiNNaker2 for DVS Gesture Recognition Using Neuromorphic Intermediate Representation [2.649410674489787]
スパイキングニューラルネットワーク(SNN)は、推論時に非常にエネルギー効率が高い。
ダイナミックビジョンセンサー(DVS)のデータなどのイベント駆動入力を処理する能力により、エッジコンピューティングタスクへの適用性はさらに向上する。
マルチコアニューロモルフィックチップSpiNNaker2に最適化されたSNNを用いたDVSジェスチャー認識タスクの最初のベンチマークを示す。
論文 参考訳（メタデータ） (2025-04-09T10:09:29Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳（メタデータ） (2023-01-21T04:08:46Z) - Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language
Understanding [82.46024259137823]
幅広いタスクに対するクロスモデル比較損失を提案する。
3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
論文 参考訳（メタデータ） (2023-01-10T03:04:27Z) - Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme [0.0]
リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、音声認識や機械翻訳などのアプリケーションにおいて重要な技術である。
我々は,各ニューロンの出力を動的にキャッシュし,現在の出力が以前計算された結果に類似すると予測されたときに再利用する,ニューロンレベルのファジィメモ化スキームを構築した。
提案手法は26.7%以上の計算を回避し、21%の省エネと1.4倍の高速化を実現している。
論文 参考訳（メタデータ） (2022-02-14T09:02:03Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Spike time displacement based error backpropagation in convolutional
spiking neural networks [0.6193838300896449]
本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。
MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。
後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
論文 参考訳（メタデータ） (2021-08-31T05:18:59Z) - Hessian Aware Quantization of Spiking Neural Networks [1.90365714903665]
ニューロモルフィックアーキテクチャは、可変ビット精度と局所ビット精度の大規模並列計算を可能にする。
SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用する。
我々は、勾配に基づくトレーニングと互換性を保ちつつ、状態変数の数を4倍に削減する単純化されたニューロンモデルを提案する。
論文 参考訳（メタデータ） (2021-04-29T05:27:34Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。