論文の概要: LEAN: Loss-Engineered Modulation of the Model Weight-Sensitivity Distribution for Efficient, Error-Tolerant Neural Networks

• arxiv url: http://arxiv.org/abs/2610.28872v1
• Date: Tue, 20 Oct 2026 19:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.135631
• Title: LEAN: Loss-Engineered Modulation of the Model Weight-Sensitivity Distribution for Efficient, Error-Tolerant Neural Networks
• Title（参考訳）: LEAN: 効率的な誤差耐性ニューラルネットワークのためのモデル重量感度分布の損失工学的変調
• Abstract要約: トレーニングされたモデルの重量感度分布を変調または変更できることが示される。 蓄えられた重量の感度はその勾配の積であり、フリップが記憶形式を踏むステップである。 この用語の10エポックは、細いチューンや訓練の最後のエポックとして、9つの視覚モデルで5倍から13倍の感度の尾を縮小する。
• 参考スコア（独自算出の注目度）: 5.408578878614567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The weights of a trained network do not have uniform sensitivity to model accuracy: the 1% most sensitive weights carry about a fifth of the damage a bit flip can do. This distribution decides the bit-flip tolerance of a model, the fraction of weights a code must cover and the bits each weight needs; existing schemes work with the distribution training leaves. We show that we can systematically modulate or alter the weight sensitivity distribution of a trained model, thereby shifting weights from one sensitivity bin to another. The sensitivity of a stored weight is the product of its gradient and the step a flip takes in the storage format, and LEAN adds a composite regularizer on both factors, a range term that bounds the flip step and a tail term that lowers the gradient of the most sensitive weights, with one coefficient λ setting how far the distribution moves. Ten epochs with the term, as a fine-tune or as the last epochs of training, shrink the sensitive tail 5 to 13 times on nine vision models (ResNet-18, ResNet-50, VGG-16 on CIFAR-10, CIFAR-100, ImageNet) within 0.5 points of accuracy; real flips confirm that the reshaped weights do less damage, a plain gradient-norm penalty does not reproduce the effect, and a preliminary extension to three small language models shows the same tail shaping. With a BCH code over 1% of the weights the model then survives 300 progressive bit-search flips in every training seed and 500 in two of three, where three of four published defenses with the same code fail by 300 and WCAT falls to 75% at 500. The reshaped distribution also cuts the parity for a fixed guarantee 3.7 times and makes a sensitivity-ordered 8/6/4/3-bit format affordable, which stores ImageNet ResNet-50 at a 3.29-bit weight payload, 2.4 times smaller than INT8, above the accuracy of LSQ at 3 bits.
• Abstract（参考訳）: トレーニングされたネットワークの重量は、モデル精度に均一な感度を持たず、1%の感度の重みが1ビットフリップでできるダメージの約5分の1を担っている。 この分布は、モデルのビットフリップ耐性、コードがカバーしなければならないウェイトの割合、および各ウェイトに必要なビットを決定する。 トレーニングされたモデルの重量感度分布を体系的に調整したり、変更したりすることで、重みを1つの感度ビンから別の感度ビンにシフトさせることができることを示す。 保存された重みの感度は、その勾配の積であり、フリップが格納形式に取るステップであり、LEANは両方の因子の合成正則化子、フリップステップを束縛する範囲項と最も敏感な重みの勾配を下げる尾項と、分布がどれくらい動くかを設定する1つの係数λを付加する。 9つの視覚モデル(ResNet-18、ResNet-50、VGG-16、CIFAR-10、CIFAR-100、ImageNet)において、この用語の10つのエポックは0.5の精度で5倍から13倍に縮小する。 重みの1%を超えるBCHコードで、トレーニングシード毎に300のプログレッシブビット検索フリップ、そして3つのうち2つで500のプログレッシブビット検索フリップを生き残り、同じコードを持つ4つの防御のうち3つが300に失敗し、WCATは500で75%に低下する。 ImageNet ResNet-50を3.29ビットのペイロードで保存し、3ビットでのLSQの精度より2.4倍小さいINT8よりも小さい。

関連論文リスト

• Align, Then Correct: Training-Free Two-Stage Low-Rank Compensation for Extremely Quantized Large Language Models [9.974090237284312]
  低ランク量子化誤差補償(LQEC)は、攻撃的な重み量子化の下で失われた精度を回復する。 既存の補償器は2つの共有単純化によって制限されていることを示す。 本稿では,2段階のクローズドフォームフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-06T11:16:37Z)
• Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
  Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
  論文  参考訳（メタデータ） (2026-09-30T16:47:35Z)
• Activation-Weighted Seeded Residual Coding for Low-Bit LLM Weight Repair [5.606117282929355]
  Activation-Weighted Seeded Residual Coding (AWSRC)は、既存の量子化バックボーンのコンパクトな修復である。 一致する49.25MBのサイドカー、BF16モデルの重量ペイロードの約0.8%で、AWSRCは最も複雑で平均的なタスク精度を提供する。
  論文  参考訳（メタデータ） (2026-08-24T11:49:37Z)
• Federated Lightweight Fine-Tuning [1.552674656890411]
  ファインチューニングのフェデレーションはコミュニケーションによってボトルネックとなる。 マッピングネットワークは、凍結したアフィンプロジェクションを通じて、小さなトレーニング可能なラテントからネットワークの重みを生成する。 マップは共有されアフィンであるため、潜伏量の平均は生成した重量を正確に平均化している。 ResNet-18+GroupNormのCIFAR-100では、1ラウンドあたり1,280フロート(5KB)を通信し、フルウェイトFedAvgの0.5pp以内で74.67%に達した。
  論文  参考訳（メタデータ） (2026-07-20T07:03:03Z)
• Sherry: Hardware-Efficient 1.25-Bit Ternary Quantization via Fine-grained Sparsification [12.62959032199936]
  Sherryはハードウェア効率のよい3次量子化フレームワークである。 我々は,4つの重みのブロックを5ビットにパックすることで,規則化された1.25ビット幅を実現する3:4きめ細粒度空間を導入する。 Intel i7-14700HX CPUでは、私たちの1BモデルはSOTAベースラインと比較して精度の低下をゼロとし、25%のビットセーブと10%のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2026-01-12T08:49:34Z)
• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• Weights Augmentation: it has never ever ever ever let her model down [1.5020330976600735]
  本稿では,重量増大の概念を,重量探査に焦点をあてて提案する。 ウェイト増強戦略(Weight Augmentation Strategy, WAS)とは、損失関数の計算に使用できるネットワークに対して、ランダムに変換されたウェイト係数のトレーニングと変換を行う手法である。 我々の実験結果は、VGG-16、ResNet-18、ResNet-34、GoogleNet、MobilementV2、Efficientment-Liteといった畳み込みニューラルネットワークが、ほとんど、あるいは全くコストがかからないことを示しています。
  論文  参考訳（メタデータ） (2024-05-30T00:57:06Z)
• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。