論文の概要: Beyond Sparsity: Weight Location and Network Context in Pruned MRI Reconstruction
- arxiv url: http://arxiv.org/abs/2609.31812v1
- Date: Fri, 25 Sep 2026 13:46:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 12:36:53.247169
- Title: Beyond Sparsity: Weight Location and Network Context in Pruned MRI Reconstruction
- Title(参考訳): スパシティを超えて:MRI再生におけるウェイトロケーションとネットワークコンテキスト
- Abstract要約: プルーニングはMRI(MRI)再構成ネットワークにおける重量を減らす。
120の畳み込みU-Netモデルと視覚変換器モデルにまたがるこれらの効果について検討する。
- 参考スコア(独自算出の注目度): 43.75851590632316
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pruning reduces the number of weights in magnetic resonance imaging (MRI) reconstruction networks. Equal sparsity, however, can retain weights with different computational roles and different compatibility with the trained network. We study these effects across 120 convolutional U-Net and vision transformer models using controlled edits evaluated before retraining. In U-Net, preserving high-resolution computation improves reconstruction at equal deletion counts across all tested sparsity levels. Equal-operation controls reveal additional sensitivity of the first convolution, which operation count alone cannot explain. In transformers, retained pretrained weight energy correlates with quality within sparsity levels, yet the same masks reverse their reconstruction ranking when the surrounding trained weights change. At 90\% sparsity, matching intermediate output scales largely removes a high-energy-mask penalty while retaining an advantage for the network's original mask. Thus sparsity alone does not characterize reconstruction quality: architecture-specific descriptors are informative, but mask quality can still depend on the surrounding trained network.
- Abstract(参考訳): プルーニングはMRI(MRI)再構成ネットワークにおける重量を減らす。
しかし、等間隔性は、異なる計算機能と訓練されたネットワークとの互換性で重みを保つことができる。
本稿では,120個の畳み込みU-Netモデルと視覚変換器モデルにまたがるこれらの効果を,再学習前に評価した制御編集を用いて検討する。
U-Netでは、高分解能計算の保存は、全てのテストされたスパーシティレベルで等しい削除数で再構成を改善する。
等動作制御は、操作数だけでは説明できない最初の畳み込みの感度を増す。
トランスでは、事前訓練された重量エネルギーは、空間レベルの品質と相関するが、周囲のトレーニングされた重量が変化すると、同じマスクが復元ランキングを逆転させる。
90 %の間隔で、中間出力スケールが一致すると、ネットワークのオリジナルのマスクの利点を保ちながら、高エネルギーマスクのペナルティが取り除かれる。
アーキテクチャ固有の記述子は情報的だが、マスクの品質はいまだに周囲のトレーニングされたネットワークに依存している。
関連論文リスト
- A Recovery Guarantee for Sparse Neural Networks [55.65046795628564]
我々はReLUニューラルネットワークにおけるスパースリカバリの最初の保証を証明した。
性能は高いがメモリ非効率なベースラインと競合し、しばしば上回っている。
論文 参考訳(メタデータ) (2025-09-24T17:10:48Z) - Frozen Backpropagation: Relaxing Weight Symmetry in Temporally-Coded Deep Spiking Neural Networks [1.0787328610467803]
ニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)の直接トレーニングは、GPUベースのトレーニングと比較してエネルギーコストを大幅に削減することができる。
このようなハードウェア上のバックプロパゲーション(BP)は、通常、前方と後方のパスは異なる重みを持つ別々のネットワークによって実行されるため、困難である。
BPに基づくトレーニングアルゴリズムであるFrozen Backpropagation (fBP)を導入する。
論文 参考訳(メタデータ) (2025-05-19T21:35:20Z) - Random Weights Networks Work as Loss Prior Constraint for Image
Restoration [50.80507007507757]
「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」
我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。
強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
論文 参考訳(メタデータ) (2023-03-29T03:43:51Z) - Randomly Initialized Subnetworks with Iterative Weight Recycling [0.0]
Multi-Prize Lottery Ticket仮説は、ランダムなニューラルネットワークには、同じアーキテクチャの完全に訓練されたモデルに匹敵する精度を達成する複数の作業が含まれていることを示唆している。
本稿では,ストレージコストやスケーリングを伴わずに高精度な処理を行う2つの最先端アルゴリズムの修正を提案する。
論文 参考訳(メタデータ) (2023-03-28T13:12:00Z) - Parameter-Efficient Masking Networks [61.43995077575439]
先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。
本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。
これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
論文 参考訳(メタデータ) (2022-10-13T03:39:03Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳(メタデータ) (2022-07-04T13:25:49Z) - Weight Reparametrization for Budget-Aware Network Pruning [12.633386045916444]
我々は、微調整なしでトレーニングとプルーニングを同時に行う「エンドツーエンド」軽量ネットワーク設計を導入する。
本手法は,重みだけでなく,軽量サブネットワークのトポロジ的構造も学習する再パラメータ化に依存する。
CIFAR10とTinyImageNetデータセットで実施された実験は、標準アーキテクチャを使用して、微調整なしで魅力的な結果を示している。
論文 参考訳(メタデータ) (2021-07-08T15:40:16Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳(メタデータ) (2020-08-07T02:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。