論文の概要: Less Loss, Fixed Weights: Logit Corrections for Forgetting

• arxiv url: http://arxiv.org/abs/2610.42000v1
• Date: Fri, 30 Oct 2026 16:44:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.814498
• Title: Less Loss, Fixed Weights: Logit Corrections for Forgetting
• Title（参考訳）: 損失が減り、固定重量が減る - 鍛造のログ補正
• Abstract要約: 言語モデルが命令に従うように微調整されたり、新しい主題で事前訓練されたりすると、しばしばWebテキストの予測が悪化する。 この損失は、モデルの最終的なトークン予測に対する、単純で固定された調整によって解消できるかどうかを問う。
• 参考スコア（独自算出の注目度）: 0.7614628596146601
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a language model is fine-tuned to follow instructions, or further pretrained on a new subject, it often gets worse at predicting standard web text. This is known as "forgetting." We ask whether this loss can be undone by simple, fixed adjustments to the model's final token predictions. Across 14 pairs of base and derived models, from 1B to 7B parameters, we fitted a fixed bonus or penalty for each token (a vocabulary bias), alone or together with a temperature. On text held out from correction fitting, the largest top-4K bias recovery estimate is under 10%, with loss conditional on the retained vocabulary. Combining the bias with a temperature recovers up to 36%. Models further pretrained on math lose the most and recover almost nothing. Finally, in a controlled simulation where a model is damaged at random, with no planted bias or temperature change, the bias-plus-temperature fix still recovers 29%. Most of the real-model loss increase stays out of reach of our restricted fits.
• Abstract（参考訳）: 言語モデルが命令に従うように微調整されたり、新しい主題で事前訓練されたりすると、標準のWebテキストを予測するのが難しくなることが多い。 これを「偽造」と呼ぶ。 この損失は、モデルの最終的なトークン予測に対する、単純で固定された調整によって解消できるかどうかを問う。 1Bパラメータから7Bパラメータまで、14組のベースモデルと導出モデルの合計で、各トークン(語彙バイアス)に対して、固定ボーナスまたはペナルティを単独または併用した。 補正適合から得られたテキストでは、最大トップ4Kバイアス回復推定値は10%以下であり、損失条件は保持語彙に依存する。 バイアスと温度を組み合わせると、最大36%の温度が回復する。 数学でさらに事前訓練されたモデルは、最も多くを失い、ほとんど何も回復しない。 最後に、モデルがランダムに損傷し、植込みバイアスや温度変化がなければ制御されたシミュレーションでは、バイアス+温度の固定は29%も回復する。 実際のモデル損失の増加のほとんどは、私たちの制限された適合の範囲外にあります。

関連論文リスト

• Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation [55.54635884641362]
  テストタイムトレーニングは、モデルが推論中に重みに情報を格納することを可能にする。 各更新では、次のトレーニング例を生成するモデルも変更される。 生成されたテキストの更新を保持する128Kのトーケンストリームは、独立した人文テキストの予測を悪化させる。
  論文  参考訳（メタデータ） (2026-10-04T09:21:14Z)
• Alignment Forecasting: Predicting Misalignment From Training Data [14.691765737362195]
  トレーニング前にアライメント障害を予測するタスクであるアライメント予測を導入する。 ALIGNMENTFORECASTBENCHは、17のターゲットモデル、32のデータセット、16の障害モードにまたがる5000以上の予測された質問のベンチマークです。 以上の結果から,SFT環境では,トレーニング前に多数のアライメント障害を予測できる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-19T07:23:51Z)
• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• Capability-Stratified Degradation in Ternary Language Models [0.0]
  第三次言語モデルは重量を$-1,0,+1$に制限し、$log 3 approx 1.585$ bits/weightに近づいた。 量子化対応トレーニング(QAT)の72.4Mトークンを用いて、Qwen3.5-0.8B(752Mパラメータ)を3次重みに変換する。 結果のモデルであるCloeは、29のベンチマーク、表現診断、下流の微調整で評価される。
  論文  参考訳（メタデータ） (2026-08-28T19:22:38Z)
• Improving Diversity in Language Models: When Temperature Fails, Change the Loss [81.73385878967899]
  そこで我々は,Precision-Recallフレームワークを利用した言語モデルにおける損失関数の再考を提案する。 以上の結果から,本手法は温度スケーリングと負のログライクなトレーニングを単に組み合わせることよりも,精度とリコールのトレードオフを著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-08-13T09:37:53Z)
• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Temperature-scaling surprisal estimates improve fit to human reading times -- but does it do so for the "right reasons"? [15.773775387121097]
  大規模な言語モデルのキャリブレーションは,通常モデルサイズによって改善されることを示す。 温度スケーリングの確率は、読み取り時間に体系的に適合することがわかった。
  論文  参考訳（メタデータ） (2023-11-15T19:34:06Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。