論文の概要: Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes
- arxiv url: http://arxiv.org/abs/2610.07853v1
- Date: Tue, 06 Oct 2026 06:58:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.860754
- Title: Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes
- Title（参考訳）: bf16キャストの損失:3つの言語モデルをエクスポートすることで、最も低学習率なコード変更を回避できる
- Abstract要約: BitNet b1.58、Falcon-E、BitCPMといった第三次言語モデルは、高精度の潜時重みで微調整されている。
パイプラインを3つのラボで監査します。
- 参考スコア（独自算出の注目度）: 0.7537475180985097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ternary language models such as BitNet b1.58, Falcon-E and BitCPM are fine-tuned with higher-precision latent weights and deployed as ternary codes produced by an export step that, in the labs' documented pipelines, first casts the latents to bf16. We audit those pipelines across three labs. In released checkpoints, fp32 quantization of the shipped latents disagrees with the deployed codes on 0.83-1.77% of codes in Falcon-E and BitCPM and on 1.530% in BitNet 2B-4T; for Falcon-E and BitCPM most disagreements are products that bf16 rounding lands exactly on the threshold, which ties-to-even maps to zero, and the unmodified onebitllms exporter reproduces all four Falcon-E releases byte for byte. At fine-tuned endpoints, with learning rates selected to match a nominal learning-rate-to-bf16-ULP ratio, the documented export lowers greedy GSM8K strict accuracy from 58.79% to 0.78% for Falcon-E-1B-Base and from 36.13% to 0.39% for BitCPM-CANN-0.5B, and a bf16 save and reload lowers BitNet 2B-4T's strict accuracy by 27.54 points while its last-number accuracy rises. Two compatibility remedies, writing the training quantizer's codes directly or adjusting the bf16 inputs until the unchanged tools emit them, each met a 4-point strict-accuracy non-inferiority criterion against online evaluation in all three models. In two model families, randomized interventions on the initial distance from the threshold support distance-dependent selection of the codes that fine-tuning changes.
- Abstract（参考訳）: BitNet b1.58、Falcon-E、BitCPMといった第3の言語モデルは、高い精度の潜伏重量で微調整され、輸出工程によって生成された第三のコードとしてデプロイされる。
パイプラインを3つのラボで監査します。
リリースされたチェックポイントでは、出荷されたラテントのfp32量子化は、Falcon-EとBitCPMのコードの0.83-1.77%、BitNet 2B-4Tの1.530%、そしてFalcon-EとBitCPMのほとんどの相違点は、bf16の丸い陸地を0に結び、修正されていない1ビットムの輸出者は、4つのFalcon-Eリリースバイトすべてをバイトに再現する。
微調整されたエンドポイントでは、名目上の学習レートとbf16-ULP比にマッチするように選択された学習率により、文書化されたエクスポートは、GSM8Kの厳密な精度を58.79%から0.78%に下げ、BitCPM-CANN-0.5Bでは36.13%から0.39%に下げ、bf16のセーブとリロードはBitNet 2B-4Tの厳密な精度を27.54ポイント下げる。
2つの互換性改善策は、トレーニング量子化器のコードを直接書き、あるいは、変化しないツールが出力するまでbf16入力を調整し、それぞれが3つのモデルすべてにおいてオンライン評価に対する4ポイントの厳密な非不正基準を満たした。
2つのモデルファミリにおいて、閾値からの最初の距離に対するランダムな介入は、微調整を行うコードの距離依存的な選択を支援する。
関連論文リスト
- VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳（メタデータ） (2026-09-14T16:17:35Z) - Scaling Post-Training Ternarisation to Qwen3-8B Capability Retention, Reproduction, Lossless Packing, and Packed Execution [0.0]
本研究では,Qwen3-4BからQwen3-8Bへのアグレッシブ後変換パイプラインのスケールアップについて検討する。
この変換では、KOTMS回転、E2M-ATQ適応三元化、重量のみのA16構成でのGPTQスタイルの誤り補償が使用される。
論文 参考訳（メタデータ） (2026-09-08T06:21:44Z) - Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。
KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。
有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
論文 参考訳（メタデータ） (2026-09-02T00:42:54Z) - Activation-Weighted Seeded Residual Coding for Low-Bit LLM Weight Repair [5.606117282929355]
Activation-Weighted Seeded Residual Coding (AWSRC)は、既存の量子化バックボーンのコンパクトな修復である。
一致する49.25MBのサイドカー、BF16モデルの重量ペイロードの約0.8%で、AWSRCは最も複雑で平均的なタスク精度を提供する。
論文 参考訳（メタデータ） (2026-08-24T11:49:37Z) - From Bit-Position Sensitivity to Unequal Error Protection for DNN Inference Memory [0.4610618579893946]
16のワークロードにわたるML推論において,ビット位置当たりの故障感度を特徴付ける。
我々の中心的な経験的発見は、シャープなビット感度遷移である: 決定論的単一ビットストレステストの下で、データタイプ固有のしきい値であるXsafeに、最も重要でない分数ビットのいずれかをめくって、タスクメトリクスを1%以下に低下させる。
論文 参考訳（メタデータ） (2026-07-21T23:07:56Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - Uncertainty Makes It Stable: Curiosity-Driven Quantized Mixture-of-Experts [6.221156050218661]
本稿では、資源制約のあるデバイス上でのディープニューラルネットワークのための好奇心駆動型量子化混合処理フレームワークを提案する。
われわれの4ビット量子化は、16ビットの精度(0.858対0.859 F1)の99.9%を維持し、4倍の圧縮と41%の省エネを実現している。
我々の情報理論的ルーティングは、適応量子化が精度(0.858 F1, 1.2M params)、エネルギー効率(3.87 F1/mJ)、予測可能なエッジモデルをもたらすことを示す。
論文 参考訳（メタデータ） (2025-11-13T15:32:41Z) - ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。
3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。
ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
論文 参考訳（メタデータ） (2025-02-04T18:59:26Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳（メタデータ） (2022-12-19T18:48:33Z) - BitPruning: Learning Bitlengths for Aggressive and Accurate Quantization [57.14179747713731]
精度を維持しつつ,任意の粒度で推論ビット長を最小化するためのトレーニング手法を提案する。
ImageNetでは、平均4.13ビット、3.76ビット、4.36ビットを生成する。
論文 参考訳（メタデータ） (2020-02-08T04:58:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。