論文の概要: A Radiation-Hardened, Fault-Aware Quantized Neural Network That Self-Heals
- arxiv url: http://arxiv.org/abs/2610.27621v1
- Date: Tue, 20 Oct 2026 04:38:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.635974
- Title: A Radiation-Hardened, Fault-Aware Quantized Neural Network That Self-Heals
- Title（参考訳）: 自己修復できる放射線ハザード付きフォールト対応量子ニューラルネットワーク
- Abstract要約: 我々は,商用オフザシェルフ(COTS)ハードウェア上でのビットフリップ後にニューラルネットワーク(NN)の量子化重みを修復する実行時手法を開発した。
我々はこの手法をプロジェクション・ヒーリングと呼び、量子化NNの6つの回帰ベンチマークに適用する。
- 参考スコア（独自算出の注目度）: 1.0742675209112622
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Deep learning (DL) models are increasingly being deployed into radiation-challenging environments in spacecraft, particle accelerators, and, soon, space-based data centers. Instantiated as a learned orchestration of numbers stored in persistent memory, models are susceptible to continual degradation as high-energy particles corrupt data. At inference time, new data passed through the network fundamentally break the off-line assumptions and guarantees of a static model determined during training. To preserve the quality and efficacy of the models, fault tolerance against bit flips is a clear objective. In this work we developed a runtime method for repairing the quantized weights of neural networks (NNs) after bit flips on commodity, commercial off-the-shelf (COTS) hardware, without storing extra replicas. Our work extends the well-established Fault-Aware Training (FAT) paradigm by adding an alignment penalty to concentrate undamaged activations and weights into a low-rank subspace, and we then reconstruct flagged corrupted coordinates from the uncorrupted survivors. We call this method {\it Projection Healing} and apply it to six regression benchmarks on quantized NNs. Holding a FAT checkpoint fixed and toggling only the runtime heal gives a further ${\sim}23\%$ reduction in the native-unit excess integral. Across those datasets the method extends the operational scrub interval by a median of $2.04\times$ at a $+5\%$ RMSE degradation and $1.96\times$ at $+50\%$, compared with $1.62\times$ and $1.07\times$ for classical Single Error Correction, Double Error Detection (SECDED). This introduces a new path towards designing resilient data-driven models, complementing established hardware redundancy, ECC, and FAT-based techniques.
- Abstract（参考訳）: 深層学習(DL)モデルは、宇宙船、粒子加速器、そして近日中に宇宙ベースのデータセンターの放射線混入環境に展開されつつある。
永続メモリに格納された数値の学習的オーケストレーションとして確立されたモデルでは、高エネルギー粒子破壊データとして連続的に劣化する可能性がある。
推論時に、ネットワークを通過した新しいデータが、トレーニング中に決定された静的モデルのオフライン仮定と保証を根本的に破壊する。
モデルの品質と有効性を維持するために、ビットフリップに対する耐障害性は明確な目的である。
本研究では,市販オフザシェルフ(COTS)ハードウェアのビットフリップ後に,余分なレプリカを格納することなく,ニューラルネットワーク(NN)の量子化重みを修復する実行時手法を開発した。
我々の研究は、損傷のないアクティベーションと重みを低ランクのサブスペースに集中させるアライメントペナルティを追加することで、確立されたフォールト・アウェア・トレーニング(FAT)パラダイムを拡張します。
我々はこの手法をit Projection Healingと呼び、量子化NNの6つの回帰ベンチマークに適用する。
FATチェックポイントを固定し、ランタイムヒールのみをトグルすると、ネイティブユニット過剰積分の${\sim}23\%$がさらに削減される。
これらのデータセット全体で、このメソッドは運用スクラブ間隔を中央値で$2.04\times$が$+5\%$RMSE分解で$1.96\times$が$+50\%$で拡張し、古典的なシングルエラー訂正、ダブルエラー検出(SECDED)では$1.62\times$と$1.07\times$である。
これにより、回復力のあるデータ駆動モデルを設計し、確立したハードウェア冗長性、ECC、FATベースのテクニックを補完する新たなパスが導入された。
関連論文リスト
- Noise-shaped Sampling and Annealing for Scalable On-the-edge Training of Binary and Ternary AI Models [13.57076548779839]
2次ネットワークと3次ネットワークのトレーニング損失は、階層的高次イジングモデルのエネルギーと構造的に等価である。
$$Samplerはノイズシェーピングループにノイズ量子化器を埋め込む。
トレーニングメモリのフットプリントを50%以上削減し、オーダー・オブ・マグニチュードのスピードアップを実現し、4桁以上のメモリトラフィックを削減します。
論文 参考訳（メタデータ） (2026-10-15T20:23:10Z) - SARATHI: Decoupled Data-Free Probing and Adaptive Reconstruction for Structured LLM Pruning [1.3766156880876856]
構造化プルーニングは、ニューロンと重み列を永久に除去することにより、大きな言語モデル(LLM)の推論コストを低減する。
既存のトレーニング後の方法は、共有キャリブレーションデータセットによるニューロンの選択と体重再構成を併用する。
これら2つの段階を分離するフレームワークであるSARATHIを提案する。
論文 参考訳（メタデータ） (2026-10-11T10:27:26Z) - LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization [60.59339465850602]
本論文では、8ビットのリカレント状態量子化の下で、ほぼ無作為な性能を実現する学習不要なLeapQuantを提案する。
LeapQuantは、推論中にメモリと計算コストを大幅に削減することを示す。
FP32ベースラインに匹敵する精度で、カーネルレベルでは2.05--3.70$times$、エンドツーエンドの推論では1.47$times$となる。
論文 参考訳（メタデータ） (2026-09-29T17:59:34Z) - Finite Volume-Informed Neural Network Framework for 2D Shallow Water Equations: Rugged Loss Landscapes and the Importance of Data Guidance [3.04375043248235]
データガイドFVM-PINN'は,非構造化メッシュ上で評価された強形式残差を,微分可能でバランスの取れた有限体積損失(FVM)に置き換えるフレームワークである。
このフレームワークは、SRH-2Dアンカーデータから正確なサロゲートを構築する。
論文 参考訳（メタデータ） (2026-05-09T22:03:56Z) - Operator Learning Using Weak Supervision from Walk-on-Spheres [81.26322147849918]
トレーニング型PDEソルバは、高価なデータ生成や不安定な物理インフォームドニューラルネットワーク(PINN)によってボトルネックされることが多い
モンテカルロ法を用いてPDEの解をトレーニング中の弱監督過程として推定する手法を提案する。
論文 参考訳（メタデータ） (2026-03-01T17:23:39Z) - PLATE: Plasticity-Tunable Efficient Adapters for Geometry-Aware Continual Learning [1.8985807299725523]
従来のタスクデータへのアクセスを必要としない事前学習モデルの連続学習法を開発した。
冗長性は 自然の偏見を与えます
textscPLATEは、可塑性保持トレードオフを明示的に制御する。
論文 参考訳（メタデータ） (2026-02-03T18:59:42Z) - Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。
本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。
モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
論文 参考訳（メタデータ） (2025-02-11T05:40:52Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳（メタデータ） (2022-09-29T13:49:57Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳（メタデータ） (2021-06-17T10:14:43Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。