論文の概要: Prospective Prediction of OOD Degradation from Source-Side Training Dynamics

• arxiv url: http://arxiv.org/abs/2610.12397v1
• Date: Thu, 08 Oct 2026 17:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.232166
• Title: Prospective Prediction of OOD Degradation from Source-Side Training Dynamics
• Title（参考訳）: ソースサイドトレーニングダイナミクスによるOOD劣化予測
• Abstract要約: 本研究は、ソース側トレーニングダイナミクスのみを用いて直接観察する前に、持続的アウト・オブ・ディストリビューション(OOD)劣化を予測できるかどうかを考察する。 制御されたショートカット学習環境では、単純なロジスティック回帰予測器が明確な予測信号を生成するが、トレーニング時間だけは発生しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study whether persistent out-of-distribution (OOD) degradation can be predicted before it is directly observed using only source-side training dynamics. In a controlled shortcut-learning setting, a simple logistic regression predictor develops a clear prospective signal, while training time alone does not. Temporal summaries of the source-side quantities are substantially more informative than their current values. When transferred without additional training from a CNN to an MLP, confidence and entropy dynamics retain substantial predictive information. These results provide a proof of principle that source-side training dynamics can contain an early warning signal for future OOD failure.
• Abstract（参考訳）: 本研究は、ソース側トレーニングダイナミクスのみを用いて直接観察する前に、持続的アウト・オブ・ディストリビューション(OOD)劣化を予測できるかどうかを考察する。 制御されたショートカット学習環境では、単純なロジスティック回帰予測器が明確な予測信号を生成するが、トレーニング時間だけは発生しない。 ソース側量の時間的要約は、現在の値よりもかなり情報的である。 CNN から MLP に追加のトレーニングを加えることなく移行すると、信頼性とエントロピーのダイナミクスは相当な予測情報を保持できる。 これらの結果は、ソース側トレーニングダイナミクスが将来のOOD障害に対する早期警告信号を含むことができるという原則の証明を提供する。

関連論文リスト

• Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning [51.56484100374058]
  大規模言語モデル(LLM)のオンライン自己蒸留(OPSD)は、以前に獲得した知識を保存しながら推論能力を向上させる能力を示した。 連続学習における後学習---OPSDと教師付き微調整(SFT)のダイナミクスの統一的理論的解析を行う。 理論的解析により, 信頼性のある連続的推論は, 事前学習中に確立した推論構造と, ポストトレーニング後の更新がどのように相互作用するかに依存することが示された。
  論文  参考訳（メタデータ） (2026-10-04T13:13:18Z)
• Statistical Benefits of Fine-Tuning from Pretrained Initialization in Diagonal Linear Networks [76.86688424891021]
  グラデーションベースの微調整によって、微調整済みの重みが暗黙的に悪用されることを示す。 以上の結果から,事前学習した重み付き情報を勾配に基づく微調整によって暗黙的に活用する方法が示唆された。
  論文  参考訳（メタデータ） (2026-09-28T09:42:39Z)
• Adaptive recurrent flow map operator learning for reaction diffusion dynamics [0.9137554315375919]
  我々は,適応的反復学習(DDOL-ART)を軽量な検証マイルストーンを持つ頑健な再帰戦略を用いて行う演算子学習器を開発した。 DDOL-ARTは長いロールアウトで安定なワンステップ演算子を学び、ゼロショットを強いシフトに一般化する。 物理ベースの数値損失演算子学習器(NLOL)よりも、マッチした設定で数倍高速である。
  論文  参考訳（メタデータ） (2026-02-10T07:33:13Z)
• Front-Loading Reasoning: The Synergy between Pretraining and Post-Training Data [68.85234898614571]
  LLMの推論能力を高めるための主流パラダイムは、高品質な推論集約的なデータによるポストトレーニングを中心に展開される。 新興文献では、学習中期にも推論データが組み込まれていることが示唆されているが、事前学習におけるそうしたデータの役割はいまだ不明である。 我々は,学習の異なる段階に導入した場合のLLM性能に,スケール,多様性,品質がどのような影響を及ぼすかについて,最初の系統的研究を行った。
  論文  参考訳（メタデータ） (2025-09-26T20:08:51Z)
• Early Period of Training Impacts Adaptation for Out-of-Distribution Generalization: An Empirical Study [56.283944756315066]
  本稿では,学習力学,分布外一般化,ニューラルネットワークトレーニングの初期段階との関係について検討する。 トレーニングの初期においてトレーニング可能なパラメータの数を変更することで,OODの結果が大幅に改善できることが示唆された。 画像データとテキストデータの両方で実験したところ、訓練の初期段階は、IDとOODのパフォーマンスを最小限の複雑さで改善できる一般的な現象であることがわかった。
  論文  参考訳（メタデータ） (2024-03-22T13:52:53Z)
• Stabilizing Machine Learning Prediction of Dynamics: Noise and Noise-inspired Regularization [58.720142291102135]
  近年、機械学習(ML)モデルはカオス力学系の力学を正確に予測するために訓練可能であることが示されている。 緩和技術がなければ、この技術は人工的に迅速にエラーを発生させ、不正確な予測と/または気候不安定をもたらす可能性がある。 トレーニング中にモデル入力に付加される多数の独立雑音実効化の効果を決定論的に近似する正規化手法であるLinearized Multi-Noise Training (LMNT)を導入する。
  論文  参考訳（メタデータ） (2022-11-09T23:40:52Z)
• Continual Pre-Training Mitigates Forgetting in Language and Vision [43.80547864450793]
  絶え間なく事前訓練されたモデルは破滅的な忘れ物に対して堅牢であることを示す。 本稿では,自己指導型事前学習が,教師付きプロトコルよりも事前知識の保持に有効であることを示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-05-19T07:27:12Z)
• On the use of recurrent neural networks for predictions of turbulent flows [1.95992742032823]
  適切に訓練された長期記憶ネットワークを用いて乱流統計の優れた予測を得ることが可能である。 瞬時に予測されるだけでなく、流れの平均的な振る舞いを含むより洗練された損失関数は、より高速なニューラルネットワークトレーニングにつながる可能性がある。
  論文  参考訳（メタデータ） (2020-02-04T11:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。