論文の概要: Noise-shaped Sampling and Annealing for Scalable On-the-edge Training of Binary and Ternary AI Models
- arxiv url: http://arxiv.org/abs/2610.22621v1
- Date: Thu, 15 Oct 2026 20:23:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.661007
- Title: Noise-shaped Sampling and Annealing for Scalable On-the-edge Training of Binary and Ternary AI Models
- Title（参考訳）: 2次および3次AIモデルのスケーラブルオンザエッジトレーニングのためのノイズ形状サンプリングとアニーリング
- Abstract要約: 2次ネットワークと3次ネットワークのトレーニング損失は、階層的高次イジングモデルのエネルギーと構造的に等価である。
$$Samplerはノイズシェーピングループにノイズ量子化器を埋め込む。
トレーニングメモリのフットプリントを50%以上削減し、オーダー・オブ・マグニチュードのスピードアップを実現し、4桁以上のメモリトラフィックを削減します。
- 参考スコア（独自算出の注目度）: 13.57076548779839
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The training loss of binary and ternary neural networks, expanded as a multilinear polynomial over the discrete weights, is structurally equivalent to the energy of a hierarchical high-order Ising model. We exploit this equivalence to apply Ising solvers to discrete-weight network training, while accounting for a fundamental difference in objectives: an Ising solver seeks the ground state of a fixed energy function, whereas training seeks solutions that generalize to unseen data. Our key contribution is $ΣΔ$-Sampler, an optimizer that reconciles these objectives by embedding a stochastic sampling-and-annealing step as a noisy quantizer inside a first-order $ΣΔ$ noise-shaping loop. The loop pushes noise from weight quantization, high-order frustration, and mini-batch sampling out of the low-frequency adaptation band, so that discrete weight updates follow the smooth descent trajectories embedded in the rugged loss landscape. We validate the framework on a planted quadratic unconstrained binary optimization (QUBO) benchmark with a known minimizer; on CIFAR-10, where a $13$M-parameter ternary model comes within $1\%$ of full-precision accuracy; on ImageNet-1k, where a ternary ResNet-18 comes within $0.4\%$ Top-5 accuracy of a ternary baseline; on class-incremental continual learning, where prior-task accuracy is preserved; and on MatMul-free language models up to $2.7$B parameters, where it outperforms a straight-through-estimator baseline under matched continued pre-training. Compared with standard quantization-aware training, $ΣΔ$-Sampler reduces the training memory footprint by over $50\%$, delivers an order-of-magnitude speed-up, and reduces weight-update memory traffic by four orders of magnitude, making it attractive for on-device training and fine-tuning of large binary and ternary models.
- Abstract（参考訳）: 2次ニューラルネットワークと3次ニューラルネットワークのトレーニング損失は、離散重みの上に多重線型多項式として拡張され、階層的な高次イジングモデルのエネルギーと構造的に等価である。
我々は、Isingソルバが固定エネルギー関数の基底状態を求めるのに対して、Isingソルバは未確認データに一般化する解を求めるのに対し、Isingソルバは固定エネルギー関数の基底状態を求める。
我々の主な貢献は$ΣΔ$-Samplerであり、これは一階の$ΣΔ$ノイズシェーピングループの中に、確率的なサンプリング・アンド・アニーリングステップをノイズ量子化器として埋め込むことによって、これらの目的を調整する最適化である。
このループは、低周波適応帯域から重み量子化、高次フラストレーション、およびミニバッチサンプリングからノイズを押し出すので、離散的な重み更新は、粗い損失ランドスケープに埋め込まれた滑らかな降下軌跡に従う。
CIFAR-10では13ドルMパラメータの3次モデルが完全精度の1.%以内、ImageNet-1kでは3次ResNet-18が3次ベースラインの0.4ドル%以内、クラスインクリメンタルな継続学習では事前タスクの精度が保存され、MatMul-free言語モデルでは27ドルBのパラメータでストレートスルー推定ベースラインを出力する。
標準的な量子化対応トレーニングと比較して、$ΣΔ$-Samplerはトレーニングメモリのフットプリントを50\%以上削減し、オーダーオブマグニチュードのスピードアップを実現し、4桁の重み付けメモリトラフィックを削減し、オンデバイストレーニングや大型バイナリおよび3次モデルの微調整に魅力的なものとなっている。
関連論文リスト
- Quantization-Aware Pre-Training with Constrained Empirical Weight Distribution [7.09016563801433]
QAPT(Quantization-Aware Pre-Training)は、DNNの推論効率を向上させる。
丸みを帯びた振動と呼ばれる問題行動は、トレーニングプロセスに有害ノイズを導入し、収束速度を著しく減少させる。
我々は$bfC$onstrained $textbfE$mpirical $textbfW$eight dis$textbfT$ribution (CEWT) を用いて最適化を提案する。
論文 参考訳（メタデータ） (2026-09-26T14:17:38Z) - Modeling quantum neural network gradient with reinforcement learning [0.0]
短期ハードウェア上での量子ニューラルネットワーク(QNN)のトレーニングは、2つの複合的な困難によって妨げられている。
RLQ-Gradは、古典的ポリシーがパラメータを直接更新することを学習する強化学習に基づく手法である。
最大12キュービットの回路上の勾配ベースのベースラインよりも、最大10ドル以上でトップ1の精度を向上する。
論文 参考訳（メタデータ） (2026-09-25T10:03:48Z) - Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。
本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。
我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。
スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
論文 参考訳（メタデータ） (2026-08-25T15:07:11Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - Layer-wise QUBO-Based Training of CNN Classifiers for Quantum Annealing [0.0]
本稿では,畳み込みニューラルネットワーク(CNN)の頭部を学習するための,擬似Un Binary Optimization(QUBO)に基づく反復的フレームワークを提案する。
出力毎の分解は、$C$クラス問題を$C$独立QUBOに分割し、それぞれ$(d+1)K$バイナリ変数で、$d$が特徴次元、$K$がビット精度で分割する。
我々は,6つの画像分類ベンチマーク(スコーンディジット,MNIST,Fashion-MNIST,CIFAR-10,EMNIST,KMNIST)の評価を行った。
論文 参考訳（メタデータ） (2026-03-03T13:10:36Z) - Efficient Multi-bit Quantization Network Training via Weight Bias Correction and Bit-wise Coreset Sampling [19.052294458935595]
マルチビット量子化ネットワークは、単一のモデル内で複数の精度レベルをサポートすることにより、ディープニューラルネットワークの柔軟な展開を可能にする。
既存のアプローチでは、サポート対象のビット幅毎にフルデータセット更新が繰り返されるため、トレーニングのオーバーヘッドが大幅に増大する。
本稿では,モデルの有用性を損なうことなく,トレーニングのオーバーヘッドを大幅に削減する2つの手法を提案する。
論文 参考訳（メタデータ） (2025-10-23T15:49:02Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Combinatorial optimization for low bit-width neural networks [23.466606660363016]
低ビット幅のニューラルネットワークは、計算資源を減らすためにエッジデバイスに展開するために広く研究されている。
既存のアプローチでは、2段階の列車・圧縮設定における勾配に基づく最適化に焦点が当てられている。
グリーディ座標降下法とこの新しい手法を組み合わせることで、二項分類タスクにおける競合精度が得られることを示す。
論文 参考訳（メタデータ） (2022-06-04T15:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。