論文の概要: Reusing Calibration Gains across Model Representations

• arxiv url: http://arxiv.org/abs/2610.22771v1
• Date: Fri, 16 Oct 2026 00:21:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.720847
• Title: Reusing Calibration Gains across Model Representations
• Title（参考訳）: モデル表現によるキャリブレーションゲインの再利用
• Abstract要約: スケールキャリブレーションは、1つのモデル表現の更新を学習する。 我々は、同じ事前訓練されたモデルの別の表現によって、その更新のどれ程を再利用できるかを調査する。
• 参考スコア（独自算出の注目度）: 13.71460633144793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scale calibration learns an update for one model representation. We study how much of that update can be reused by another representation of the same pretrained model. Our transfer procedure extracts positive group-wise gains and installs them in the recipient's weights or native quantization scales without recipient-side optimization. On a quantized recipient, it preserves integer codes, zero points and storage layout. For a Qwen3-1.7B floating-point/GPTQ INT3 pair, bidirectional transfer retains 76.9-90.5% of the text-loss improvement from recipient-specific calibration on fresh WikiText and C4 cohorts excluded from project development. Shuffling the same gain values within each projection worsens both recipients, showing that their learned group assignment matters after transfer. A Llama-3.2-3B control keeps the initial native tensors at all four calibrated projections identical and changes nine projections elsewhere. Cross-installation retains 98.6-99.3% of the text-calibration benefit, alongside a small, resolved preference for each recipient's own gain. These results quantify both the adaptation carried by a reusable calibration update and the remaining benefit of recipient-specific training.
• Abstract（参考訳）: スケールキャリブレーションは、1つのモデル表現の更新を学習する。 我々は、同じ事前訓練されたモデルの別の表現によって、その更新のどれ程を再利用できるかを調査する。 転送手順は、グループワイドゲインを抽出し、受信者の重みやネイティブ量子化尺度に、受信側最適化なしでそれらをインストールする。 量子化された受信機では、整数コード、ゼロポイント、ストレージレイアウトを保存する。 Qwen3-1.7B 浮動小数点/GPTQ INT3ペアの場合、双方向転送は、プロジェクト開発から除外された新しいWikiTextとC4コホートに対する受信者固有のキャリブレーションによるテキストロスの改善の76.9-90.5%を維持できる。 それぞれのプロジェクション内で同じ利得値をシャッフルすると、両方の受信者が悪化する。 Llama-3.2-3B コントロールは、初期原点テンソルを4つのキャリブレーションされたプロジェクション全てで保持し、他の場所で9つのプロジェクションを変更する。 クロスインストールは、テキスト校正利益の98.6-99.3%を保持し、受信者自身の利益に対する小さな解決された好みを保っている。 これらの結果は、再利用可能なキャリブレーション更新による適応と、受信者固有のトレーニングの残りの利点の両方を定量化する。

関連論文リスト

• SPECTRUM: Proximal Spectral Modulation for Looped Self-Distillation [7.270051853969119]
  Looped Self-Distillationは、モデルが自身の生出力から繰り返し生成し、学習するコード生成のためのフレームワークである。 SPECTRUMは初期モデルの64サンプルの精度の89.9%を維持しており、バニラ自己蒸留では66.4%、サブスペース投射制御では65.5%である。
  論文  参考訳（メタデータ） (2026-10-05T18:43:09Z)
• PACE: Propagation-Aware Collaborative Correction for One-Shot Personalized Federated Graph Learning [4.349000444958713]
  PACEを導入し、完全局所予測器に協調知識をコンパクトな補正として扱う。 各クライアントは、ランク-r更新キャリアと、伝播するメッセージモーメントの対角的なスケッチをアップロードする。 サーバはこれらを使用して、レシーバが完全なローカルモデルを保持している間に、伝搬対応のレシーバアンコール補正を構築する。
  論文  参考訳（メタデータ） (2026-09-04T07:44:12Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Correctness-Optimized Residual Activation Lens (CORAL): Transferrable and Calibration-Aware Inference-Time Steering [3.7758197704962835]
  重み付きデカイプローブを用いて、モデル内部のアクティベーションから正当性信号を捕捉する正規化時間ステアリング法であるCORALを導入する。 コラルは、常に精度を10%改善し、期待キャリブレーション誤差(ECE)を平均50%改善する。 本結果は,個々のニューロンが不十分な場合,正規化プローブを用いてモデル内部の分散情報を抽出できるという仮説を支持する。
  論文  参考訳（メタデータ） (2026-02-05T18:55:56Z)
• CafeQ: Calibration-free Quantization via Learned Transformations and Adaptive Rounding [32.70843445702854]
  学習後の量子化は、大規模言語モデルの提供コストを削減する効果的な方法である。 提案する緩和機構には、適応的な丸め、ランダムな回転変換、キャリブレーションデータを用いたトレーニング後の目標へのコミットなどが含まれる。 キャリブレーションデータにアクセスせずに変換と適応丸めを最適化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-11-24T21:15:16Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)
• Calibration of Pre-trained Transformers [55.57083429195445]
  本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。 その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
  論文  参考訳（メタデータ） (2020-03-17T18:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。