論文の概要: The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2602.11217v1
• Date: Wed, 11 Feb 2026 09:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.459984
• Title: The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning
• Title（参考訳）: マジック相関:事前学習から教師付きファインチューニングへの知識伝達を理解する
• Authors: Simin Fan, Dimitris Paparas, Natasha Noy, Binbin Xiong, Noveen Sachdeva, Berivan Isik,
• Abstract要約: 事前学習から教師付き微調整(SFT)への言語モデル機能移行について検討する。 我々の実験によると、トランスファーの信頼性は機能カテゴリ、ベンチマーク、スケールによって劇的に変化している。 これらの発見は、事前学習の決定と下流の結果の間の複雑な相互作用に光を当てた。
• 参考スコア（独自算出の注目度）: 11.95095463048743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how language model capabilities transfer from pretraining to supervised fine-tuning (SFT) is fundamental to efficient model development and data curation. In this work, we investigate four core questions: RQ1. To what extent do accuracy and confidence rankings established during pretraining persist after SFT? RQ2. Which benchmarks serve as robust cross-stage predictors and which are unreliable? RQ3. How do transfer dynamics shift with model scale? RQ4. How well does model confidence align with accuracy, as a measure of calibration quality? Does this alignment pattern transfer across training stages? We address these questions through a suite of correlation protocols applied to accuracy and confidence metrics across diverse data mixtures and model scales. Our experiments reveal that transfer reliability varies dramatically across capability categories, benchmarks, and scales -- with accuracy and confidence exhibiting distinct, sometimes opposing, scaling dynamics. These findings shed light on the complex interplay between pretraining decisions and downstream outcomes, providing actionable guidance for benchmark selection, data curation, and efficient model development.
• Abstract（参考訳）: 言語モデルの能力が事前学習から教師付き微調整(SFT)へどのように移行するかを理解することは、効率的なモデル開発とデータキュレーションに不可欠である。 本研究では,RQ1の4つの質問について検討する。 プレトレーニング期間中の精度と信頼性は, SFT後においてもどの程度維持されるのか? RQ2。 どのベンチマークが堅牢なクロスステージ予測器として機能し、どれが信頼できないのか? RQ3。 トランスファーダイナミクスはモデルスケールでどのようにシフトするか? RQ4。 キャリブレーション品質の指標として,モデルの信頼性と精度はどの程度一致しますか? このアライメントパターンはトレーニング段階にわたって伝達されるか? 我々は、様々なデータ混合物とモデルスケールにわたる精度と信頼性の指標に適用された一連の相関プロトコルを通して、これらの疑問に対処する。 我々の実験によると、トランスファーの信頼性は機能カテゴリ、ベンチマーク、スケールによって劇的に変化しており、正確さと信頼性は異なる、時には反対する、スケーリングのダイナミクスを示しています。 これらの発見は、事前学習決定と下流の結果の間の複雑な相互作用に光を当て、ベンチマークの選択、データキュレーション、効率的なモデル開発のための実用的なガイダンスを提供する。

関連論文リスト

• Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning [10.123352394689134]
  よく校正された信頼性により、下流のシステムは、いつモデルを信頼するか、いつフォールバックメカニズムを延期するかを決定できる。 RLVRはタスク性能を向上するが、極めて自信過剰なモデルを生成する。 本稿では,意思決定確率を直接調整するキャリブレーション対応強化学習の定式化を提案する。
  論文  参考訳（メタデータ） (2026-01-19T18:31:31Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
  逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。 私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
  論文  参考訳（メタデータ） (2020-07-16T17:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。