Fugu-MT 論文翻訳(概要): The Fourth State: Signed-Zero Ternary for Stable LLM Quantization (and More)

論文の概要: The Fourth State: Signed-Zero Ternary for Stable LLM Quantization (and More)

arxiv url: http://arxiv.org/abs/2508.05905v1
Date: Fri, 08 Aug 2025 00:01:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-11 20:39:06.032687
Title: The Fourth State: Signed-Zero Ternary for Stable LLM Quantization (and More)
Title（参考訳）: 第4期:安定LLM量子化のためのサイン付きゼロ3次
Authors: Jeffrey Uhlmann,
Abstract要約: 量子化は通常、計算要求を減らすために性能の質を交換する手段とみなされる。本稿では2ビット量子化方式であるSigned-Zero Ternary(SZT)を導入する。
参考スコア（独自算出の注目度）: 0.43512163406551996
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Quantization is usually regarded as a means to trade quality of performance for reduced compute requirements, i.e., as a suboptimal approximation. However, if examined in terms of a fixed overall resource budget, a very different perspective arises. We introduce Signed-Zero Ternary (SZT), a 2-bit quantization that deterministically provides gradient information with no forward-path penalty. Our analysis provides evidence that it may improve information density compared to non-quantized alternatives.
Abstract（参考訳）: 量子化は、通常、計算要求を減らすために性能の質を交換する手段、すなわち、準最適近似(subtimal approximation)と見なされる。しかし、固定されたリソース予算の観点から見れば、非常に異なる視点が生まれる。本稿では2ビット量子化方式であるSigned-Zero Ternary(SZT)を導入する。我々の分析は、非量子化代替品に比べて情報密度が向上する証拠を提供する。

関連論文リスト

KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning [15.81250204481401]
本稿では,勾配推定バイアスの軽減を目的としたカーネル関数ベースのZOフレームワークを提案する。 KerZOOは既存のZOベースラインと同等または優れたパフォーマンスを実現している。本稿では,カーネル関数がZO法における推定バイアスの低減に有効な方法であることを示す。
論文参考訳（メタデータ） (2025-05-24T21:56:03Z)
Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文参考訳（メタデータ） (2025-05-01T06:47:45Z)
Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
論文参考訳（メタデータ） (2024-10-21T22:40:42Z)
Minimum-Risk Recalibration of Classifiers [9.31067660373791]
平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
論文参考訳（メタデータ） (2023-05-18T11:27:02Z)
Minimax Instrumental Variable Regression and $L_2$ Convergence Guarantees without Identification or Closedness [71.42652863687117]
インストゥルメンタル変数(IV)回帰の非パラメトリック推定について検討した。固定IV解に収束できる新しいペナル化ミニマックス推定器を提案する。ラックス条件下での推定値に対して強い$L$誤差率を導出する。
論文参考訳（メタデータ） (2023-02-10T18:08:49Z)
Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
論文参考訳（メタデータ） (2022-12-27T17:16:48Z)
On the regularization and optimization in quantum detector tomography [7.606341071607205]
我々は異なる正規化形式を議論し、平均2乗誤差スケールを$O(frac1N) $とするか、静的仮定の下では$N$状態コピーで定数になる傾向があることを証明した。数値的な例は、異なる正則化形式の有効性を示し、量子光学実験により、適切な正則化形式が平均2乗誤差を低減できることを示した。
論文参考訳（メタデータ） (2022-07-21T06:48:53Z)
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。