論文の概要: Theory-Guided Instance-Dependent Early Stopping via Second-Order Loss Dynamics

• arxiv url: http://arxiv.org/abs/2610.24540v1
• Date: Sat, 17 Oct 2026 08:07:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:06:42.624713
• Title: Theory-Guided Instance-Dependent Early Stopping via Second-Order Loss Dynamics
• Title（参考訳）: 2次損失ダイナミクスによる理論誘導型インスタンス依存早期停止
• Abstract要約: インスタンス依存早期停止(IES)は、損失が安定している例のバックプロパゲーションをスキップすることで、トレーニング計算を減らす。 我々は,この条件を明示的な仮定で分析する理論誘導型インスタンス依存早期停止(TG-IES)を開発した。 TG-IESは、メインの畳み込み設定で53～58%のバックプロパゲーションインスタンスを節約し、完全トレーニングの0.1～0.9ポイントの精度を維持している。
• 参考スコア（独自算出の注目度）: 2.102973349909511
• License:
• Abstract: Instance-dependent early stopping (IES) reduces training computation by skipping backpropagation for examples whose losses have stabilized, but the second-order loss-difference criterion used by IES lacks a theoretical justification. We develop Theory-Guided Instance-Dependent Early Stopping (TG-IES), which analyzes this criterion under explicit assumptions and derives a noise-calibrated mastery threshold and a conditional stability bound for instance exclusion. We show that second-order differencing has a favorable bias-variance trade-off over first- and third-order differences in a specific signal-to-noise regime, and that its signal contains both gradient-drift and curvature terms. TG-IES derives its stopping threshold and patience from training-run statistics rather than using the manually selected threshold of IES. Across CIFAR-10 and CIFAR-100, TG-IES saves 53-58% of backpropagation instances in its main convolutional settings while keeping accuracy within 0.1-0.9 percentage points of full training; in the primary ResNet-18/CIFAR-10 setting, this corresponds to 35.7% FLOP-normalized savings. The method also transfers to ViT-Tiny, where it achieves smaller savings and incurs a modest accuracy cost. These results provide a theoretical basis for second-order instance-dependent early stopping and show that theory-guided calibration can substantially reduce training computation under the assumptions and experimental settings studied.
• Abstract（参考訳）: インスタンス依存早期停止(IES)は、損失が安定化した例をバックプロパゲーションをスキップすることでトレーニング計算を減らすが、IESが使用する2次損失差分基準は理論的に正当化されていない。 我々は、この条件を明示的な仮定で分析し、ノイズ校正された熟達しきい値と、インスタンス排除の条件付き安定性を導出する理論ガイド型インスタンス依存早期停止(TG-IES)を開発した。 本稿では,2次差分法が1次差分と3次差分に対して有意な差分性を有することを示すとともに,その信号が勾配と曲率の両項を含むことを示す。 TG-IESは、手動で選択されたIESのしきい値を使用するのではなく、トレーニング実行統計から、その停止しきい値と忍耐力を導出する。 CIFAR-10とCIFAR-100全体で、TG-IESはメインの畳み込み設定で53～58%のバックプロパゲーションインスタンスを保存し、完全トレーニングの0.1～0.9ポイント以内の精度を維持している。 また、この方法はViT-Tinyに転送され、節約が小さくなり、わずかな精度でコストがかかる。 これらの結果は,2次インスタンス依存早期停止の理論的基礎を提供し,理論誘導キャリブレーションが仮定および実験条件下でのトレーニング計算を大幅に削減できることを示す。

関連論文リスト

• Error Correction in Trained TTT Layers [0.0]
  テストタイムトレーニングレイヤは、入力シーケンスを処理しながらメモリを更新する。 我々は,TTT実装における予測に基づく更新の構造と実証的役割について検討した。
  論文  参考訳（メタデータ） (2026-10-12T06:48:31Z)
• Early Detection of Latent Microstructure Regimes in Limit Order Books [0.0]
  制限順序帳は、安定な状態からストレスのある状態へ急速に遷移することができる。 順序流の不均衡や短期のボラティリティといった標準的な早期警戒信号は本質的に反応性がある。 我々はこの制限を3段階の因果データ生成プロセスで定式化する。
  論文  参考訳（メタデータ） (2026-04-22T17:47:52Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Does "Do Differentiable Simulators Give Better Policy Gradients?'' Give Better Policy Gradients? [25.53040167917892]
  不連続力学はバイアスを引き起こし、1階推定器の有効性を損なう。 非滑らかな領域で推定器を切り替える軽量なテストであるDDCGを導入する。 また,各ステップ毎の逆分散実装であるIVW-Hについて,明示的な不連続検出を伴わずに分散を安定化する。
  論文  参考訳（メタデータ） (2026-04-20T12:23:48Z)
• Sharpness Aware Surrogate Training for Spiking Neural Networks [0.0]
  サロゲート勾配はスパイキングニューラルネットワーク(SNN)を訓練するための標準ツールである しかし、従来のハードフォワードまたはサロゲート後方トレーニングは、偏りのある推定器を備えた非滑らかなフォワードモデルである。 後方プロパゲーションにより訓練した前方SNNに対して,シャープネス・アウェア・サロゲート・トレーニング(SAST)を適用し,シャープネス・アウェア・サロゲート・トレーニング(SAM)を適用した。
  論文  参考訳（メタデータ） (2026-03-14T01:26:26Z)
• Instance-dependent Early Stopping [57.912273923450726]
  本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。 IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。 IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
  論文  参考訳（メタデータ） (2025-02-11T13:34:09Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。