論文の概要: Extreme Low-State Quantized Transformer for Electricity-Load Forecasting

• arxiv url: http://arxiv.org/abs/2610.28784v1
• Date: Tue, 20 Oct 2026 18:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.117807
• Title: Extreme Low-State Quantized Transformer for Electricity-Load Forecasting
• Title（参考訳）: 電力損失予測のための極低状態量子化変圧器
• Abstract要約: 本研究では,3,5-,7-,16-状態の重み量子化を用いたトランスフォーマーを用いた電力負荷予測方式について検討する。 2つのタスクは、前回の48時間から次の24時間、または次の24時間を予測する。 その結果,トランスフォーマー予測は高い離散重み表現の下でも有効であり,目標状態の変動を強く抑制できることがわかった。
• 参考スコア（独自算出の注目度）: 1.1347176912133798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aggressive low-state weight quantization can substantially reduce neural-network representational flexibility, making predictive performance difficult to preserve when only a few discrete weight states are available. We investigate this regime for Transformer-based electricity-load forecasting using 3-, 5-, 7-, and 16-state weight quantization across feed-forward-only and attention-plus-feed-forward quantization. Two tasks predict either the next hour or the next 24 hours from the preceding 48 hours across two co-primary electricity-consumption datasets. Direct post-training quantization (PTQ) increased mean normalized root-mean-square error (NRMSE) relative to full precision by 6.25 and 7.04 percentage points in Datasets A and B, whereas quantization-aware fine-tuning (QAT-FT) recovered approximately 90.2% and 94.5% of these penalties. Quantization-aware training from random initialization (Scratch-QAT) also produced competitive low-state solutions, with particularly favorable behavior at three states. We further introduce accumulated-update thresholding, which accumulates optimizer-proposed weight changes before commitment. Relative to paired Scratch-QAT controls, this reduced committed shadow-weight updates by approximately 99.7% and discrete state transitions by approximately 77--80%, while mean NRMSE changed by only +0.042 and +0.197 percentage points. These results show that useful Transformer forecasting can be retained under highly discrete weight representations while strongly suppressing target-state activity, supporting a prospective route toward compact, low-activity edge forecasting using multilevel synaptic devices.
• Abstract（参考訳）: 攻撃的な低状態量子化は、神経ネットワーク表現の柔軟性を著しく低下させ、少数の離散的な重み状態しか得られない場合、予測性能の維持を困難にする。 本研究では,3,5-,7-,16-状態重み量子化をフィードフォワードとアテンションプラスフォワード量子化の3,5-,7-,16-状態重み量子化を用いたトランスフォーマーを用いた電力負荷予測方式について検討する。 2つのタスクは、前回の48時間から次の24時間、または次の24時間を予測する。 ダイレクトトレーニング後量子化(PTQ)は、データセットAとBの完全精度に対して平均正規化根平均二乗誤差(NRMSE)を6.25と7.04ポイント増加させたが、量子化対応微調整(QAT-FT)はこれらの罰則の約90.2%と94.5%を回復した。 ランダム初期化(Scratch-QAT)による量子化対応トレーニングも、特に3つの状態において、競争力のある低状態解を生み出した。 さらに, 累積更新しきい値を導入し, 積算前に最適化した重み変化を蓄積する。 ペア化されたScratch-QATコントロールとは対照的に、コミットしたシャドウウェイト更新を約99.7%削減し、離散状態遷移を約77-80%削減した。 これらの結果から,多レベルシンプティックデバイスを用いた小型で低活性なエッジ予測に向けての予測経路を支持しながら,高い離散的な重み表現の下で有用なトランスフォーマー予測を維持できることが示唆された。

関連論文リスト

• Late Breaking Results: Hardware-Efficient Quantum Reservoir Computing via Quantized Readout [2.2133667529581933]
  本稿では,Chebyshev機能符号化,ブロックワークの絡み合い,単一および2キュービットパウリ測定を併用した,固定・未学習量子回路に基づく,ハードウェア効率のよい量子貯留層計算フレームワークを提案する。 本研究では,FP32ベースラインの1%以内の予測精度を8ビット,6ビットの量子化で維持し,それぞれリードアウトメモリを75%,81%削減した。
  論文  参考訳（メタデータ） (2026-04-07T16:55:41Z)
• Bayesian Transformer for Probabilistic Load Forecasting in Smart Grids [0.0]
  本研究では,3つの相補的不確実性機構をPatchTSTバックボーンに統合したベイズ変圧器フレームワークを提案する。 7段階のマルチクエンタリーピンボールロス予測ヘッドと、訓練後の等音波回帰キャリブレーションにより、鋭く、ほぼ一意にカバーされた予測間隔が生成される。 主要なベンチマーク(PJM, H=24h)では、BTは0.0289のCRPSを達成し、Deep Ensemblesより7.4%、決定論的LSTMより29.9%改善した。
  論文  参考訳（メタデータ） (2026-03-09T02:39:51Z)
• LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
  Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。 本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。 本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
  論文  参考訳（メタデータ） (2026-01-18T12:08:38Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• Towards Accurate Post-Training Quantization of Vision Transformers via Error Reduction [48.740630807085566]
  ビジョントランスフォーマー(ViT)のPTQ(Post-training Quantization)は,学術的,産業的にも注目されている。 現在の方法は、量子化された重みとアクティベーションの間の複雑な相互作用を考慮できないため、量子化エラーと準最適性能をもたらす。 本稿では,活性化と重み量子化による量子化誤差を逐次低減する2段階PTQ法であるERQを提案する。
  論文  参考訳（メタデータ） (2024-07-09T12:06:03Z)
• QuantTune: Optimizing Model Quantization with Adaptive Outlier-Driven Fine Tuning [16.50084447690437]
  この研究は、これらの精度低下の原因を明らかにし、量子化フレンドリな微調整法である textbfQuantTune を提案している。 提案手法は, ViT, Bert-base, OPT など,トランスフォーマーベースモデルにおけるポストトレーニング量子化の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-03-11T08:09:30Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。