論文の概要: Phase Transition Frequency as a Training Time Predictor of Test Accuracy in ResNets
- arxiv url: http://arxiv.org/abs/2609.05194v1
- Date: Fri, 04 Sep 2026 14:28:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.070197
- Title: Phase Transition Frequency as a Training Time Predictor of Test Accuracy in ResNets
- Title（参考訳）: ResNetにおけるテスト精度のトレーニング時間予測器としての相転移周波数
- Abstract要約: ResNetファインタニング中に観測された個別のクラスセパビリティジャンプ数について実験的に検討した。
75以上の実験では、標準の分類ベンチマークで強いデータセット内負の相関が得られた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The number of discrete class-separability jumps observed during ResNet finetuning is examined empirically as a predictor of final test accuracy. Across 75 experiments spanning four benchmarks (CIFAR-10, CIFAR-100, TinyImageNet, and CIFAR-10-C) and three architectures (ResNet-18, ResNet-50, and ResNet-101), with five to ten seeds per configuration, a strong within-dataset negative correlation is obtained on standard i.i.d. classification benchmarks: \(r = -0.84\) on CIFAR-10 (\(p < 10^{-8}\), \(n = 30\)) and \(r = -0.87\) on CIFAR-100 (\(p < 10^{-5}\), \(n = 15\)). Under distributional stress, the relationship attenuates: TinyImageNet yields \(r = -0.45\), and the CIFAR-10-C corruption benchmark yields \(r = -0.19\). Two additional analyses discipline the empirical claim. A partial correlation controlling for architecture depth, treated as a linear covariate, shows that on CIFAR-100 the transition count retains statistically significant predictive power (\(r_{\mathrm{partial}} = -0.69\), \(p = 0.007\)); the corresponding result under the stricter categorical conditioning is not established at \(n = 15\). A comparison against six alternative training-curve signals shows that transition count achieved the strongest correlation among the evaluated signals on CIFAR-100 and one of the strongest on CIFAR-10, but is dominated by other signals on the two stressed benchmarks. The comparison is restricted to training-curve-level signals; comparisons against effective rank, Hessian sharpness, Fisher information, margin, and neural-collapse measures, which are the strongest competitors in the current literature, are not part of the present study and remain open. The observation is presented as an in-distribution training-quality probe among a family of candidate probes, and an inexpensive detection procedure suitable for logging alongside a standard training loop is provided.
- Abstract（参考訳）: ResNetファインタニング中に観測された離散クラスセパビリティジャンプ数を,最終テスト精度の予測器として実験的に検討した。
4つのベンチマーク(CIFAR-10, CIFAR-100, TinyImageNet, CIFAR-10-C)と3つのアーキテクチャ(ResNet-18, ResNet-50, ResNet-101)にまたがる75以上の実験では、CIFAR-10(\(p < 10^{-8}\), \(n = 30\)およびCIFAR-100(\(p < 10^{-5}\), \(n = 15\)の標準ベンチマークで、5から10個のシードを持つ強いデータセット内負の相関が得られた。
TinyImageNet yields \(r = -0.45\)、CIFAR-10-C corruption benchmark yields \(r = -0.19\)。
2つの追加分析は経験的主張を訓練する。
線形共変量として扱われるアーキテクチャの深さに対する部分的相関は、CIFAR-100において遷移カウントが統計的に有意な予測力を保っていることを示す(\(r_{\mathrm{partial}} = -0.69\), \(p = 0.007\)。
CIFAR-100で評価された信号とCIFAR-10で評価された信号の最も強い相関を達成できたが、この2つのベンチマークでは他の信号に支配されている。
この比較は訓練曲線レベルの信号に限られており、効果的なランク、ヘッセンのシャープネス、漁業情報、マージン、神経崩壊対策の比較は、現在の文献で最強の競争相手である。
本発明の観察は、候補プローブ群間の非分配訓練品質プローブとして提示され、標準訓練ループとともにロギングに適した安価な検出手順が提供される。
関連論文リスト
- How Much Capacity Does EEG Denoising Need? Ultra-Compact Networks reveal Benchmark Saturation and Metric-Utility Gap [0.0]
深層学習EEG(Deep Learning EEG Denoising Architectures)は、数万から数千万のパラメータに拡張されているが、実験変数としてモデルキャパシティを分離した以前の研究はない。
アーキテクチャ,損失,データ分割,トレーニングレシピの両ギャップに対処し,最小限の深さ分離可能な畳み込みU-Netで1.05Kから40.26Kパラメータまでのチャネル幅を網羅する。
論文 参考訳（メタデータ） (2026-06-07T12:17:25Z) - Knot-10:A Tightness-Stratified Benchmark for Real-World Knot Classification with Topological Difficulty Analysis [0.0]
我々はKnots-10ベンチマークを導入し、配置指向の分割で1,440枚の画像で構成され、ゆるく結びついた結び目でトレーニングし、タイトな服装でテストする。
Swin-T と TransFG はどちらも平均97.2%の精度であり、PMG は94.5%であり、ジグソーシャッフルが連続性を阻害するという仮説と一致している。
分類精度を向上することなく埋め込みトポロジーアライメントを改善するTACA正則化を提案する。
論文 参考訳（メタデータ） (2026-03-24T14:50:34Z) - Open Horizons: Evaluating Deep Models in the Wild [0.0]
CIFAR-10におけるオープンセット認識(OSR)とクラスインクリメンタル学習(FSCIL)の併用に関する統一実験を行った。
OSRでは、ResNet-50、ConvNeXt-Tiny、CLIP ViT-B/16の3つの事前学習された凍結型視覚エンコーダを比較し、線形プローブと4つのポストホックスコア関数(MSP、Energy、Mahalanobis、kNN)を使用。
FSCILでは,部分凍結型ResNet-50を用いたSPPR,OrCo,ConCMの比較を行った。
論文 参考訳（メタデータ） (2025-12-13T03:03:59Z) - Exploring the Hierarchical Reasoning Model for Small Natural-Image Classification Without Augmentation [51.56484100374058]
MNIST、CIFAR-10、CIFAR-100で意図的に生の条件下で評価される。
拡張性のない小型画像分類では、HRMは単純な畳み込みアーキテクチャと競合するものではないと結論付けている。
論文 参考訳（メタデータ） (2025-10-04T01:22:41Z) - Variational Supervised Contrastive Learning [50.79938854370321]
本稿では,教師付きコントラスト学習を潜在クラス変数に対する変分推論として再構成した変分教師付きコントラスト学習(VarCon)を提案する。
VarConは対照的な学習フレームワークの最先端のパフォーマンスを達成し、ImageNet-1Kでは79.36%、CIFAR-100では78.29%、ResNet-50エンコーダでは78.29%に達した。
論文 参考訳（メタデータ） (2025-06-09T04:19:12Z) - Randomness Helps Rigor: A Probabilistic Learning Rate Scheduler Bridging Theory and Deep Learning Practice [7.494722456816369]
確率論的学習率スケジューラ(PLRS)を提案する。
PLRSは単調に減少する条件に適合せず、証明可能な収束を保証する。
PLRSは,既存の最先端学習率スケジューラと精度の両面で同等以上の性能を示した。
論文 参考訳（メタデータ） (2024-07-10T12:52:24Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [12.365801596593936]
我々は、事前学習タスクを二項分類問題としてモデル化し、暗黙的なコントラスト効果を誘導する。
既存の手法とは異なり、提案した損失関数は正対と負対の相互情報を最適化する。
提案手法は,ベンチマークデータセット上でのSOTA自己教師型コントラストフレームワークよりも優れている。
論文 参考訳（メタデータ） (2021-11-24T17:51:29Z) - Adversarial Training with Rectified Rejection [114.83821848791206]
本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。
軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
論文 参考訳（メタデータ） (2021-05-31T08:24:53Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z) - Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。
認証精度は5.78%,44.96%,43.19%であった。
論文 参考訳（メタデータ） (2020-06-01T05:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。