論文の概要: Linger and Lose: Knowledge Collapse in Low-Bit Language Models

• arxiv url: http://arxiv.org/abs/2609.32902v1
• Date: Sat, 26 Sep 2026 19:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 12:07:48.780772
• Title: Linger and Lose: Knowledge Collapse in Low-Bit Language Models
• Title（参考訳）: Linger and Lose: 低ビット言語モデルにおける知識の崩壊
• Abstract要約: 3次重みを持つ訓練言語モデルは、一般的に損失と下流の精度によって判断される。 これらのメトリクスは、はるかに大きな失敗を隠蔽できることを示している。 我々は 5 つの精度で 2.5M から 50M のパラメータで GPT-2 スタイルのモデルをスクラッチから訓練する。
• 参考スコア（独自算出の注目度）: 3.1411048327150546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training language models with ternary weights is commonly judged by loss and downstream accuracy, which record only a modest cost relative to full precision. We show that these metrics can conceal a much larger failure. We instead measure knowledge capacity, the factual bits stored per parameter, on synthetic biographies with known information content. We train GPT-2-style models from scratch with 2.5M to 50M parameters at five precisions. Under the standard cosine schedule, ternary models retain as little as 6% of an identically trained fp16 model's capacity. The deficit widens with model size while perplexity rises by only 1.4 to 1.6 times. Measured throughout training, these models first acquire capacity and then lose most of it. We identify this knowledge collapse as a learning-rate dwell instability. Held near $1$--$2\times10^{-4}$ with no decay, a pre-collapse model collapses within a few hundred exposures, and returning to a safe rate does not restore capacity. We then locate the collapse in the output head. It happens at a value the model can never predict. The weights there grow unchecked, while every other prediction the model makes is unchanged. We find that making the value predictable removes the collapse, regardless of which attribute carries it. A warmup-stable-decay schedule with a 10% cooldown increases ternary capacity by 2.7 times at 25M and 4.3 times at 50M. Gains are larger at lower precision. Cutting the output head's learning rate prevents failure when training from scratch. The post-training quantization methods we tested recover no measurable capacity below 4 bits. Our findings suggest judging low-precision training by retained capacity during training rather than final loss.
• Abstract（参考訳）: 三次重みを持つ訓練言語モデルは、一般的に損失と下流の精度によって判断される。 これらのメトリクスは、はるかに大きな失敗を隠蔽できることを示している。 代わりに、知識容量、パラメータ毎に記憶される事実ビットを、既知の情報内容を持つ合成バイオグラフィーで測定する。 我々は 5 つの精度で 2.5M から 50M のパラメータで GPT-2 スタイルのモデルをスクラッチから訓練する。 標準のコサイン・スケジュールでは、第三級モデルは同じ訓練を受けたfp16モデルの容量の6%しか保持しない。 赤字はモデルサイズで拡大する一方、複雑度は1.4倍から1.6倍に上昇する。 トレーニングを通じて測定されたこれらのモデルは、まずキャパシティを取得し、その大部分が失われる。 我々はこの知識の崩壊を学習速度の不安定さとして認識する。 崩壊のない1-2\times10^{-4}$に近づき、数百回の露光で崩壊前のモデルが崩壊し、安全な速度に戻るとキャパシティが回復しない。 次に、出力ヘッドの崩壊を見つけます。 モデルは予測できない値で起こります。 ここでの重みは未確認のままに成長するが、モデルが生み出す他の予測はすべて変わらない。 値の予測可能化は,どの属性が持つにせよ,崩壊を排除します。 10%冷却ダウンのウォームアップ安定デカイスケジュールは3次容量を25Mで2.7倍、50Mで4.3倍増加させる。 利得は低い精度で大きい。 出力ヘッドの学習率のカットは、トレーニングのスクラッチ時の失敗を防ぐ。 試行錯誤後の量子化法では,4ビット以下で測定可能なキャパシティが回復しなかった。 その結果, 最終損失ではなく, トレーニング中の保持能力による低精度トレーニングの判定が示唆された。

関連論文リスト

• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Predicting Large Model Test Losses with a Noisy Quadratic System [18.22919317870566]
  モデルサイズ(N)、バッチサイズ(B)、重み更新数(K)から、大規模モデルの事前学習損失を推定する予測モデルを導入する。 これはバッチサイズの変化に対処できる最初の損失予測モデルです。
  論文  参考訳（メタデータ） (2026-05-09T20:35:09Z)
• Scaling Laws for Precision [73.24325358259753]
  トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。 推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。 トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T00:10:10Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。