論文の概要: Calibration Bets on the Past: Post-Training Quantization for Financial Time-Series Forecasting
- arxiv url: http://arxiv.org/abs/2608.12259v1
- Date: Wed, 12 Aug 2026 17:02:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.656325
- Title: Calibration Bets on the Past: Post-Training Quantization for Financial Time-Series Forecasting
- Title(参考訳): 過去におけるキャリブレーション・ベット:金融時系列予測のための後の量子化
- Abstract要約: ポストトレーニング量子化(PTQ)は、再トレーニングせずに運用デプロイメントを可能にする。
本稿では,S&P 500 上での断面変動予測におけるPTQ の活性化校正に関する系統的研究について述べる。
アクティベーションキャリブレーションは8ビットではほとんど効果がないが、4ビットでの予測性能の主要な決定要因となる。
- 参考スコア(独自算出の注目度): 2.4235475271758076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Financial forecasting models are typically developed in full precision, yet production deployment often requires low-precision inference to reduce memory and computational cost. Post-training quantization (PTQ) enables such deployment without retraining. However, reliable activation quantization requires calibration: activation ranges are estimated from historical data before deployment and then remain fixed during future inference. The importance of this deployment choice for financial forecasting remains poorly understood. We present a systematic study of activation calibration for PTQ in cross-sectional volatility forecasting on the S&P 500. Our evaluation covers seven representative neural architectures, eight walk-forward test years (2018-2025), and 560 trained models. We find that activation calibration has little effect at 8 bits but becomes the primary determinant of predictive performance at 4 bits. Under default absolute-maximum (abs-max) calibration, static 4-bit quantization of both weights and activations removes 11-62% of the full-precision mean information coefficient in affected architectures. Replacing abs-max with percentile calibration recovers 53-94% of this degradation in the four most affected architectures. The preferred activation range also varies across market periods. Narrow ranges improve resolution under typical market conditions but lose part of their advantage when test-period market dispersion exceeds the calibration history. These findings show that activation calibration is a first-class deployment decision for reliable 4-bit PTQ in financial forecasting. When substantial degradation remains, 8-bit activations or weight-only 4-bit quantization provide more robust deployment choices.
- Abstract(参考訳): 金融予測モデルは通常、完全な精度で開発されるが、メモリと計算コストを減らすためには、しばしば低い精度の推論を必要とする。
ポストトレーニング量子化(PTQ)は、再トレーニングせずにそのようなデプロイメントを可能にする。
しかし、信頼性の高いアクティベーション量子化はキャリブレーションを必要とする: アクティベーション範囲は、展開前の履歴データから推定され、将来の推論中に固定される。
金融予測におけるこの展開選択の重要性は、いまだに理解されていない。
本稿では,S&P 500 上での断面変動予測におけるPTQ の活性化校正に関する系統的研究について述べる。
評価対象は,7つの代表的なニューラルネットワーク,8つのウォークフォワードテスト年(2018-2025)および560のトレーニングモデルである。
アクティベーションキャリブレーションは8ビットではほとんど効果がないが、4ビットでの予測性能の主要な決定要因となる。
デフォルトの絶対最大(abs-max)キャリブレーションの下では、重みとアクティベーションの両方の静的な4ビット量子化は、影響を受けるアーキテクチャの完全な精度の平均情報係数の11~62%を除去する。
パーセンタイルキャリブレーションでabs-maxをリプレースすると、最も影響を受ける4つのアーキテクチャにおいて、この劣化の53-94%が回復する。
所望の活性化範囲も市場期間によって異なる。
ナローレンジは、典型的な市場条件下での解像度を改善するが、テスト期間市場の分散がキャリブレーション履歴を超えると、その優位性の一部を失う。
これらの結果から, アクティベーション・キャリブレーションは, 財務予測における信頼性4ビットPTQの第一級展開決定であることがわかった。
相当な劣化が残っている場合、8ビットのアクティベーションまたは重量のみの4ビット量子化は、より堅牢なデプロイメント選択を提供する。
関連論文リスト
- Stable FP4 Training via Transposition-Invariant Block Quantization [14.373963304887754]
従来の1Dブロック量子化では、前方と後方のパスは変換後に同じ値に誘電性スケーリング因子を割り当てる。
本稿では,2次元ブロックFP4量子化に基づく低精度トレーニングフレームワークを提案する。
提案手法は安定なエンドツーエンドFP4トレーニングを実現し,BF16の性能と密に一致し,パープレキシティと下流精度が1.3%未満に低下した。
論文 参考訳(メタデータ) (2026-07-27T18:03:34Z) - Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning [18.69627681731888]
オンライン推論校正(英語: Online Reasoning calibration、ORCA)は、整合予測とテストタイムトレーニングに基づいてサンプリングプロセスを校正するフレームワークである。
リスクレベルの$=0.1$で、ORCAはQwen2.5-32B効率を改善し、47.5%、監督ラベル40.7%、自己整合ラベル40.7%を節約する。
論文 参考訳(メタデータ) (2026-04-01T17:21:50Z) - Activation Outliers in Transformer Quantization: Reproduction, Statistical Analysis, and Deployment Tradeoffs [0.0]
変圧器のポストトレーニング量子化(PTQ)は、構造化されたアクティベーションアウトリアによる精度の低下に悩まされていることが知られている。
本稿では,QNLIで微調整されたBERTベースにおける再現可能な経験的再現と,その現象のシステムレベルの拡張について述べる。
論文 参考訳(メタデータ) (2026-03-04T17:26:29Z) - Enhancing Post-Training Quantization via Future Activation Awareness [84.76726857601753]
ポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)を微調整なしで圧縮する方法として広く用いられている。
本稿では、将来の層活性化を利用して量子化を導出するFuture-Aware Quantization (FAQ)を提案する。
FAQは、後方パス、データ再構成、チューニングを必要とせず、無視できる余分なコストで、従来手法よりも一貫してパフォーマンスを向上する。
論文 参考訳(メタデータ) (2026-01-28T12:03:30Z) - CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
本稿では,量子化による損失に対応する新しい手法を提案する。
CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。
LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
論文 参考訳(メタデータ) (2025-10-21T16:33:57Z) - Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
量子化下でのモデルロバスト性に対する選択の影響について検討する。
モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。
異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
論文 参考訳(メタデータ) (2025-09-27T21:15:22Z) - Compute-Optimal Quantization-Aware Training [50.98555000360485]
量子化対応トレーニング(QAT)は、量子化されたニューラルネットワークの精度を向上させるための主要な技術である。
従来の研究では、トレーニングを完全精度(FP)フェーズに分解し、QATフェーズが続くと、より優れた精度が得られることが示されている。
最終性能に及ぼすQAT時間の影響について検討する。
論文 参考訳(メタデータ) (2025-09-26T21:09:54Z) - QUAD: Quantization and Parameter-Efficient Tuning of LLM with Activation Decomposition [21.13478769431063]
QUID(Quantization with Activation Decomposition)は、Singular Value Decomposition(SVD)を利用して、有効4ビット量子化のためのアクティベーションアウトリアを抑制するフレームワークである。
W4A4の量子化では94パーセントの精度、W4A4/A8では98%の精度、Llama-3およびQwen-2.5モデルのパラメータ効率の微調整を実現している。
論文 参考訳(メタデータ) (2025-03-25T05:03:56Z) - Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。
この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
論文 参考訳(メタデータ) (2025-01-28T18:04:50Z) - Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs [38.33520071583312]
Calibrated Fine-Tuning (UQ4CT)は、入力を出力にマッピングする関数の空間上の不確実性をキャプチャし、校正する。
我々は,機能空間を階層的に分解するMix-of-expertsフレームワークを用いて,微調整段階のUQ4CTを実装した。
分散シフト中であっても、UQ4CTはより優れたECE性能を高い精度で維持し、一般化性の向上を示す。
論文 参考訳(メタデータ) (2024-10-09T00:09:15Z) - Towards Accurate Post-Training Quantization for Vision Transformer [48.779346466374406]
既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。
APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
論文 参考訳(メタデータ) (2023-03-25T03:05:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。