論文の概要: From Arithmetic to Logic: The Resilience of Logic and Lookup-Based Neural Networks Under Parameter Bit-Flips

• arxiv url: http://arxiv.org/abs/2603.22770v1
• Date: Tue, 24 Mar 2026 03:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.292902
• Title: From Arithmetic to Logic: The Resilience of Logic and Lookup-Based Neural Networks Under Parameter Bit-Flips
• Title（参考訳）: 算術から論理へ:パラメータビットフリップ下の論理とルックアップに基づくニューラルネットワークのレジリエンス
• Authors: Alan T. L. Bacellar, Sathvik Chemudupati, Shashank Nag, Allison Seigler, Priscila M. V. Lima, Felipe M. G. França, Lizy K. John,
• Abstract要約: 本研究では,ニューラルネットワークの構造特性としてのレジリエンスについて検討する。 その結果,低い精度,高い間隔,有界活性化,浅い深度が常に好まれていることが判明した。 論理ベースのアーキテクチャに特有の新しい偶数層リカバリ効果を同定する。
• 参考スコア（独自算出の注目度）: 0.6868507883617846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The deployment of deep neural networks (DNNs) in safety-critical edge environments necessitates robustness against hardware-induced bit-flip errors. While empirical studies indicate that reducing numerical precision can improve fault tolerance, the theoretical basis of this phenomenon remains underexplored. In this work, we study resilience as a structural property of neural architectures rather than solely as a property of a dataset-specific trained solution. By deriving the expected squared error (MSE) under independent parameter bit flips across multiple numerical formats and layer primitives, we show that lower precision, higher sparsity, bounded activations, and shallow depth are consistently favored under this corruption model. We then argue that logic and lookup-based neural networks realize the joint limit of these design trends. Through ablation studies on the MLPerf Tiny benchmark suite, we show that the observed empirical trends are consistent with the theoretical predictions, and that LUT-based models remain highly stable in corruption regimes where standard floating-point models fail sharply. Furthermore, we identify a novel even-layer recovery effect unique to logic-based architectures and analyze the structural conditions under which it emerges. Overall, our results suggest that shifting from continuous arithmetic weights to discrete Boolean lookups can provide a favorable accuracy-resilience trade-off for hardware fault tolerance.
• Abstract（参考訳）: 安全クリティカルエッジ環境におけるディープニューラルネットワーク(DNN)の展開は、ハードウェアによるビットフリップエラーに対する堅牢性を必要とする。 数値的な精度の低下は耐障害性を改善することを実証的な研究は示しているが、この現象の理論的基礎は未解明のままである。 本研究では,ニューラルネットワークの構造特性としてレジリエンスを研究する。 複数の数値形式や層プリミティブにまたがる独立パラメータビットの2乗誤差 (MSE) を導出することにより, 低精度, 高空間性, 有界化, 浅層深度が常に有利であることを示す。 次に、論理とルックアップに基づくニューラルネットワークは、これらのデザイントレンドのジョイント限界を実現すると論じる。 MLPerf Tinyベンチマークスイートのアブレーション研究を通じて、観測された経験的傾向は理論的な予測と一致しており、標準浮動小数点モデルが急激に失敗する汚職体制において、LUTベースのモデルは極めて安定していることを示す。 さらに、論理ベースのアーキテクチャに特有の新しい偶数層回復効果を同定し、その構造条件を解析する。 全体として,連続演算重みから離散ブールルックアップへのシフトは,ハードウェアのフォールトトレランスに有利な精度-レジリエンストレードオフをもたらす可能性が示唆された。

関連論文リスト

• Prior-Informed Neural Network Initialization: A Spectral Approach for Function Parameterizing Architectures [3.0098885383612104]
  本稿では,データ固有のスペクトルと時間構造を利用する事前インフォームド設計手法を提案する。 ファストフーリエ変換(Fast Fourier Transform)を用いて、支配的な季節前兆を抽出する原理的手法が導入された。 合成および実世界のベンチマークの実験は、データ駆動の事前の埋め込みが収束を著しく加速することを示した。
  論文  参考訳（メタデータ） (2026-03-17T11:08:52Z)
• A Neural Network for the Identical Kuramoto Equation: Architectural Considerations and Performance Evaluation [0.0]
  同一振動子倉本モデルから導かれる非局所保存法の解法を近似するためのディープニューラルネットワーク(DNN)の効率について検討する。 ネットワーク構成パラメータが収束特性に影響を与えることを示す。 我々は,一意的あるいは一意的な解を扱う際に,標準フィードフォワードアーキテクチャの基本的限界を特定する。
  論文  参考訳（メタデータ） (2025-09-17T19:37:01Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations [0.0]
  本研究では,不確かさが勾配推定に及ぼす影響について検討した。 一般の過度にパラメータ化された定式化は、損失関数が最小化される集合の外側に配置されるスプリアス平衡の集合を導入することを示す。
  論文  参考訳（メタデータ） (2023-05-17T02:26:34Z)
• Neuro-symbolic model for cantilever beams damage detection [0.0]
  本稿では,新しい認知アーキテクチャに基づくカンチレバービームの損傷検出のためのニューロシンボリックモデルを提案する。 ハイブリッド識別モデルはLogic Convolutional Neural Regressorという名称で導入されている。
  論文  参考訳（メタデータ） (2023-05-04T13:12:39Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。