論文の概要: Similar Models Learn Differently: Final-Window Pretraining Shapes Post-Training Beyond SFT

• arxiv url: http://arxiv.org/abs/2607.25063v1
• Date: Mon, 27 Jul 2026 20:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.619296
• Title: Similar Models Learn Differently: Final-Window Pretraining Shapes Post-Training Beyond SFT
• Title（参考訳）: 類似モデルの違い:SFTを超えるトレーニング後の最終ウィンドウ事前学習形状
• Abstract要約: トレーニング前にトレーニングした最後のデータである事前学習の最終ウィンドウ上で,制御された実験を実行する。 部分的に事前訓練されたチェックポイントからの6つの分岐フォークは、このウィンドウでのみ異なる:5億トークン、それより前のトークンの0.1%から1%である。 SFT後、分岐はほぼ同一に振る舞うが、命令の追従、拒否、能力のほぼ1ポイント以内には、同じポストトレーニングが全く異なるエンドポイントにそれらを運ぶ。
• 参考スコア（独自算出の注目度）: 17.186414423941482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developers judge a model checkpoint by how it behaves. After supervised fine-tuning (SFT), two checkpoints that perform about the same across relevant benchmarks are treated as interchangeable, equally ready for the next alignment stage, typically preference optimization. We ask whether this judgment misses a pretraining imprint: a difference that no post-SFT benchmark reveals, yet that decides how each checkpoint responds to further training. To find out, we run a controlled experiment on the final window of pretraining, the last data trained on before instruction tuning. Six branches fork from one partially pretrained checkpoint and differ only in this window: 500 million tokens, 0.1% to 1% of the tokens that precede it. Each branch trains its window on a single data source: generic web text, filtered web text, normative discourse, safety text, mathematical text, or synthetic educational text. SFT and post-training are then identical. After SFT the branches behave near-identically, within about one point on instruction following, refusal, and capability, yet the same post-training carries them to very different endpoints, under both a direct preference optimization update and a reinforcement learning update with a verifiable reward. We measure this deviation through refusal of harmful requests: when post-training begins the safety text branch refuses no more than the web text branch, yet by the end it has lost far less of its refusal. The other four branches gain little or no protection, so the effect is selective to what the window contained. The protection requires the safety text to arrive last rather than earlier in pretraining, and it reproduces on a second model family. What a model is pretrained on last shapes how it reacts to alignment. Therefore, a checkpoint should not be evaluated by its post-SFT behavior alone, and what it was trained on last should be reported with it.
• Abstract（参考訳）: 開発者はモデルチェックポイントがどのように振る舞うかを判断する。 教師付き微調整(SFT)の後、関連するベンチマークでほぼ同じ動作をする2つのチェックポイントは、次のアライメントステージ(典型的には優先最適化)に等しく、交換可能として扱われる。 我々は、この判断が事前トレーニングのインプリントを見逃しているかどうかを問う。SFT後のベンチマークでは明らかでない違いだが、各チェックポイントがさらなるトレーニングにどのように反応するかを決定する。 そこで本研究では,トレーニング前の最後のトレーニングである事前学習の最終ウィンドウ上で,制御された実験を行う。 部分的に事前訓練されたチェックポイントからの6つの分岐フォークは、このウィンドウでのみ異なる:5億のトークン、その前のトークンの0.1%から1%である。 各ブランチは、ジェネリックWebテキスト、フィルタリングWebテキスト、規範的談話、安全テキスト、数学的テキスト、または合成教育テキストという、単一のデータソースでウィンドウをトレーニングする。 SFTとポストトレーニングは同一である。 SFTの後、分岐は命令の追従、拒否、能力の約1点においてほぼ同一に振る舞うが、同じポストトレーニングは直接優先最適化と、検証可能な報酬を伴う強化学習更新の両方の下で、全く異なるエンドポイントにそれらを伝達する。 トレーニング後、安全テキストブランチは、Webテキストブランチだけを拒否するが、最終的には、その拒否をはるかに少なくしている。 他の4つの枝はほとんどまたは全く保護されないため、効果はウィンドウが含むものに対して選択的である。 この保護は、事前訓練でよりも早く安全テキストが到着することを必要とし、第2モデルファミリーで再生する。 モデルがどのようにアライメントに反応するかを前もってトレーニングします。 したがって、チェックポイントはSFT後の動作だけで評価するべきではない。

関連論文リスト

• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring [1.3636639880574484]
  内部の読み出しは、それらのアクションが生成される前に有害なテキストやツールアクションを特定する場合、エージェントシステムを監視するのに役立つ。 Qwen2.5-Coder-32B-Instruct fine-tune/base direction, Llama-3.1-8B-Instruct probes at the last token of unsafe prefills, Gemma-3-27B-IT emotion-concept vectors for projection and steering。
  論文  参考訳（メタデータ） (2026-06-29T15:18:36Z)
• What Shapes Emergent Misalignment? Insights from Training Dynamics, Model Priors, and Data [20.335735139409245]
  創発的ミスアライメント(EM: Emergent misalignment)は、モデルが狭い微調整で一般化される現象である。 我々は、EMとその変数を直接微調整のコンポーネント(トレーニング力学、モデル事前、データ)を通して研究する。
  論文  参考訳（メタデータ） (2026-06-18T18:04:20Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Can Transformers Learn to Verify During Backtracking Search? [5.709908922073304]
  バックトラック探索は古典的な制約解決者、プランナー、定理証明者の基礎となる。 最近の変圧器に基づく推論システムは, 探索木を自身の中間ステップで探索する。 累積トレースで訓練されたデコーダのみの変換器は、この要件を2つの方法で満たさないことを示す。
  論文  参考訳（メタデータ） (2026-05-21T09:26:01Z)
• Instruction Tuning Changes How Upstream State Conditions Late Readout: A Cross-Patching Diagnostic [9.8812664524155]
  我々は、いつから後期のスタックが協力して、相違点を次の利幅に変えるのかを尋ねる。 私たちは、各モデルの後期スタックで、各モデルの初期段階の状態を横断します。 強制的なスコアリングは、局所的なトークンの選択が、後の正確な回答の成功を変える可能性があることを示している。
  論文  参考訳（メタデータ） (2026-05-08T05:47:10Z)
• The Convergence Gap: Instruction-Tuned Language Models Stabilize Later in the Forward Pass [9.8812664524155]
  最終的なアウトプットは、チェックポイントがその次のポイント予測にコミットしたときに隠される。 本稿では,各層の次点分布をデコードし,モデルの最終分布までの距離を測定するモデル微分診断法である収束ギャップを導入する。
  論文  参考訳（メタデータ） (2026-05-08T05:45:52Z)
• Three ways to improve feature alignment for open vocabulary detection [88.65076922242184]
  ゼロショットオープンボキャブラリ検出の鍵となる問題は、視覚的特徴とテキスト的特徴の整合性である。 以前のアプローチでは、特徴ピラミッドと検出ヘッドをゼロからトレーニングし、事前トレーニング中に確立された視覚テキストの特徴アライメントを壊す。 本稿では,これらの問題を緩和する3つの方法を提案する。まず,テキストの埋め込みを強化するための簡単なスキームを用いて,学習中に見られる少数のクラスへの過度な適合を防止する。 次に、特徴ピラミッドネットワークと検出ヘッドをトレーニング可能なショートカットを含むように変更する。 最後に、より大きなコーパスを活用するために、自己学習アプローチが使用される。
  論文  参考訳（メタデータ） (2023-03-23T17:59:53Z)
• On the Viability of Monocular Depth Pre-training for Semantic Segmentation [48.29060171161375]
  本研究は,意味的タスクへの下流移動において,幾何学的タスクの事前学習が有効かどうかを考察する。 単分子深度は意味的セグメンテーションのための事前学習の実行可能な形式であり、共通ベースラインの改善によって検証される。
  論文  参考訳（メタデータ） (2022-03-26T04:27:28Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。