論文の概要: The Convergence Gap: Instruction-Tuned Language Models Stabilize Later in the Forward Pass

• arxiv url: http://arxiv.org/abs/2605.07282v1
• Date: Fri, 08 May 2026 05:45:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.833602
• Title: The Convergence Gap: Instruction-Tuned Language Models Stabilize Later in the Forward Pass
• Title（参考訳）: 収束ギャップ:前向きパスの後に安定化する命令付き言語モデル
• Authors: Yifan Zhou,
• Abstract要約: 最終的なアウトプットは、チェックポイントがその次のポイント予測にコミットしたときに隠される。 本稿では,各層の次点分布をデコードし,モデルの最終分布までの距離を測定するモデル微分診断法である収束ギャップを導入する。
• 参考スコア（独自算出の注目度）: 9.8812664524155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Final outputs hide when a checkpoint commits to its next-token prediction. We introduce the convergence gap, a model-diffing diagnostic that decodes each layer's next-token distribution and measures its distance to the model's own final distribution. Across six paired pretrained and instruction-tuned checkpoints in native prompting regimes, instruction-tuned checkpoints remain farther from their final predictions later into the stack. The effect persists under endpoint-matched raw and tuned readouts, endpoint-free same-history checks, and fixed-history template replay. Matched-prefix interventions identify late MLP windows as the largest tested leverage point: late IT grafts into PT hosts increase late KL by +0.34 nats, while PT-late swaps into IT hosts reduce it by -0.51 nats; matched random late perturbations give only +0.003 versus +0.327 for the true late graft. A preselected Gemma case study provides behavior-facing plausibility for the same late swap, without serving as a benchmark claim. These results identify a robust predictiondynamics signature of post-training: released instruction-following checkpoints tend to settle later, and late MLP computation is the strongest tested bidirectional handle on that delay under matched histories.
• Abstract（参考訳）: 最終的なアウトプットは、チェックポイントがその次のポイント予測にコミットしたときに隠される。 本稿では,各層の次点分布をデコードし,モデルの最終分布までの距離を測定するモデル微分診断法である収束ギャップを導入する。 ネイティブのプロンプトシステムでは、事前訓練された6つのチェックポイントと命令調整されたチェックポイントの合計で、命令調整されたチェックポイントは、最終的な予測から後になってスタックに留まったままである。 この効果は、エンドポイントにマッチした生および調整済みの読み出し、エンドポイントなしの同履歴チェック、固定履歴テンプレートの再生で持続する。 PTホストへの遅延ITグラフトは後期KL+0.34ナット増加し、PT-lateはITホストへの置換により-0.51ナット減少する。 プリセレクトされたGemmaケーススタディは、ベンチマーククレームとして機能することなく、同じ遅延スワップに対する振る舞い対応の妥当性を提供する。 これらの結果から,後学習の強靭な予測力学的シグネチャを同定した: リリースした命令追従チェックポイントは後から解決する傾向があり,後期MLP計算は一致した履歴の下での遅延に対する最も強力な双方向処理である。

関連論文リスト

• STEPS: A Temporal Smooth Error Propagation Solver on the Manifolds for Test-Time Adaptation in Time Series Forecasting [6.053929364291382]
  Test-Time Adaptation (TTA) は、推論中に限られた観測値を用いて、分布シフトの下での時系列予測を改善することを目的としている。 既存の方法は、明らかなプレフィックスがスパースまたは汚染されたときに、弱い識別性、エラーの蓄積、不安定なロングホライゾン補正に悩まされることがある。
  論文  参考訳（メタデータ） (2026-05-08T16:58:10Z)
• Instruction Tuning Changes How Upstream State Conditions Late Readout: A Cross-Patching Diagnostic [9.8812664524155]
  我々は、いつから後期のスタックが協力して、相違点を次の利幅に変えるのかを尋ねる。 私たちは、各モデルの後期スタックで、各モデルの初期段階の状態を横断します。 強制的なスコアリングは、局所的なトークンの選択が、後の正確な回答の成功を変える可能性があることを示している。
  論文  参考訳（メタデータ） (2026-05-08T05:47:10Z)
• No Validation, No Problem: Predicting Model Performance from a Single Gradient [1.9336815376402718]
  本稿では,1つの前方パスからの検証不要なチェックポインティング信号を提案する。 ImageNet-1k CNNとTransformers全体で、このプロキシはTop-1に強く否定的で、損失に肯定的です。
  論文  参考訳（メタデータ） (2026-01-23T16:30:11Z)
• Thinking Traps in Long Chain-of-Thought: A Measurable Study and Trap-Aware Adaptive Restart [27.904791075662896]
  TAAR(Trap-Aware Adaptive Restart)は,部分軌道から2つの信号を予測するための診断ポリシーをトレーニングするテスト時間制御フレームワークである。 推測時、TAARは予測されたトラップセグメントの前に軌道を切断し、復号を適応的に再起動する。 実験の結果,TAARはモデルパラメータを微調整することなく推論性能を向上させることがわかった。
  論文  参考訳（メタデータ） (2026-01-17T07:26:02Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• Cautious Next Token Prediction [62.74127603725369]
  我々は、CNTP(Cautious Next Token Prediction)と呼ばれる新しいトレーニングフリーデコード戦略を提案する。 復号過程において、モデルが特定のステップで比較的高い予測エントロピーを持つ場合、独立にステップから始まる複数の試行をサンプリングし、句読点に遭遇する際に停止する。 提案するCNTPアプローチは,既存の標準復号方式よりも明確なマージンで一貫した性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-07-03T05:49:18Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
  我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。 本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。 提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T06:01:00Z)
• Checking Patch Behaviour against Test Specification [4.723400023753107]
  パッチ動作とテスト仕様のフェールとの関連性について仮説を提案する。 次に、パッチの正当性を予測するための教師なし学習ベースシステムBATSを提案する。
  論文  参考訳（メタデータ） (2021-07-28T11:39:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。