論文の概要: MCEL: Margin-Based Cross-Entropy Loss for Error-Tolerant Quantized Neural Networks

• arxiv url: http://arxiv.org/abs/2603.05048v1
• Date: Thu, 05 Mar 2026 10:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.193866
• Title: MCEL: Margin-Based Cross-Entropy Loss for Error-Tolerant Quantized Neural Networks
• Title（参考訳）: MCEL: エラー耐性量子化ニューラルネットワークのためのマージン型クロスエントロピー損失
• Authors: Mikail Yayla, Akash Kumar,
• Abstract要約: ビットエラーに対するロバスト性は、新興の近似コンピューティングプラットフォームでニューラルネットワーク(NN)を使用する上で重要な要件である。 NNにおけるビットエラー耐性を実現するための一般的なアプローチは、事前に定義されたエラーモデルに従ってトレーニング中にビットフリップを注入することである。 本研究では,NNが誤り認識学習に頼らずにビット誤りを許容する機構について検討する。
• 参考スコア（独自算出の注目度）: 2.591303779092077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness to bit errors is a key requirement for the reliable use of neural networks (NNs) on emerging approximate computing platforms and error-prone memory technologies. A common approach to achieve bit error tolerance in NNs is injecting bit flips during training according to a predefined error model. While effective in certain scenarios, training-time bit flip injection introduces substantial computational overhead, often degrades inference accuracy at high error rates, and scales poorly for larger NN architectures. These limitations make error injection an increasingly impractical solution for ensuring robustness on future approximate computing platforms and error-prone memory technologies. In this work, we investigate the mechanisms that enable NNs to tolerate bit errors without relying on error-aware training. We establish a direct connection between bit error tolerance and classification margins at the output layer. Building on this insight, we propose a novel loss function, the Margin Cross-Entropy Loss (MCEL), which explicitly promotes logit-level margin separation while preserving the favorable optimization properties of the standard cross-entropy loss. Furthermore, MCEL introduces an interpretable margin parameter that allows robustness to be tuned in a principled manner. Extensive experimental evaluations across multiple datasets of varying complexity, diverse NN architectures, and a range of quantization schemes demonstrate that MCEL substantially improves bit error tolerance, up to 15 % in accuracy for an error rate of 1 %. Our proposed MCEL method is simple to implement, efficient, and can be integrated as a drop-in replacement for standard CEL. It provides a scalable and principled alternative to training-time bit flip injection, offering new insights into the origins of NN robustness and enabling more efficient deployment on approximate computing and memory systems.
• Abstract（参考訳）: ビットエラーに対するロバスト性は、新興の近似コンピューティングプラットフォームとエラーを起こしやすいメモリ技術にニューラルネットワーク(NN)を確実に使用するための重要な要件である。 NNにおけるビットエラー耐性を実現するための一般的なアプローチは、事前に定義されたエラーモデルに従ってトレーニング中にビットフリップを注入することである。 特定のシナリオでは有効だが、トレーニング時のビットフリップインジェクションは相当な計算オーバーヘッドをもたらし、しばしば高いエラー率で推論精度を低下させ、より大きなNNアーキテクチャではスケールが低下する。 これらの制限は、将来の近似コンピューティングプラットフォームとエラーを起こしやすいメモリ技術で堅牢性を確保するために、エラーインジェクションをますます非現実的なソリューションにする。 本研究では,NNが誤り認識学習に頼らずにビット誤りを許容する機構について検討する。 出力層におけるビットエラー耐性と分類マージンの直接接続を確立する。 この知見に基づいて、標準的なクロスエントロピー損失の最適化特性を保ちつつ、ロジットレベルのマージンマージン・クロスエントロピー損失(MCEL)を明示的に促進する新たな損失関数であるマージン・クロスエントロピー損失(MCEL)を提案する。 さらにMCELは、ロバストネスを原則的に調整できる解釈可能なマージンパラメータを導入している。 様々な複雑さ、様々なNNアーキテクチャ、および様々な量子化スキームを含む複数のデータセットにわたる大規模な実験的評価により、MCELは誤り率1%の精度で最大15%のビット誤り耐性を著しく向上することが示された。 提案手法は実装が簡単で,効率が良く,標準CELの代替として組み込むことができる。 トレーニング時のビットフリップインジェクションに代わるスケーラブルで原則化された代替手段を提供し、NNの堅牢性の起源に関する新たな洞察を提供し、近似コンピューティングやメモリシステムへのより効率的なデプロイを可能にする。

関連論文リスト

• Neural Minimum Weight Perfect Matching for Quantum Error Codes [7.525883733645578]
  NMWPM(Neural Minimum Weight Perfect Matching)と呼ばれるデータ駆動デコーダを提案する。 その結果,標準基準値よりも論理誤差率 (LER) が有意に低下した。
  論文  参考訳（メタデータ） (2026-01-01T07:25:51Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing [7.578258600530223]
  アルゴリズムに基づく耐障害性(ABFT)機構は信頼性向上のための有望なソリューションとなっている。 本稿では,適応的エラー許容しきい値を導入し,選択的障害回復を実現するための近似ABFTフレームワークを提案する。 提案した ApproxABFT は,従来の ABFT よりも43.39% の冗長計算オーバーヘッド削減を実現している。
  論文  参考訳（メタデータ） (2023-02-21T06:21:28Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
  機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。 この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。 この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
  論文  参考訳（メタデータ） (2021-02-18T12:03:57Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks [7.349786872131006]
  抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。 バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。 BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
  論文  参考訳（メタデータ） (2020-02-03T17:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。