論文の概要: No Validation, No Problem: Predicting Model Performance from a Single Gradient

• arxiv url: http://arxiv.org/abs/2601.16874v1
• Date: Fri, 23 Jan 2026 16:30:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.761444
• Title: No Validation, No Problem: Predicting Model Performance from a Single Gradient
• Title（参考訳）: バリデーションなし、問題なし:単一勾配からモデルパフォーマンスを予測する
• Authors: Fangzheng Wu, Brian Summa,
• Abstract要約: 本稿では,1つの前方パスからの検証不要なチェックポインティング信号を提案する。 ImageNet-1k CNNとTransformers全体で、このプロキシはTop-1に強く否定的で、損失に肯定的です。
• 参考スコア（独自算出の注目度）: 1.9336815376402718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a validation-free checkpointing signal from a single forward-backward pass: the Frobenius norm of the classifier-head gradient on one detached-feature batch, ||g||_F = ||dL/dW||_F. Across ImageNet-1k CNNs and Transformers, this proxy is strongly negative with Top-1 and positive with loss. Selecting the checkpoint with the minimum head gradient in a short tail window closes most of the gap to the oracle (4.24% +/- 2.00% with a universal setup, about 1.12% with light per-family tuning). For practical deployment, a head-scale normalization is more stable within classic CNN families (e.g., ResNets), while a feature-scale normalization works well for Transformers and modern CNNs. The same one-batch probe also predicts COCO detection/segmentation mAP. In diffusion (UNet/DDPM on CIFAR-10), it tracks progress and enables near-oracle tail-window selection; it is positively correlated with same-distribution probe MSE and negatively with FID (lower is better), so it can be used as a lightweight, label-free monitor. Validation labels are never used beyond reporting. The probe adds much less than 0.1% of an epoch and works as a drop-in for validation-free checkpoint selection and early stopping.
• Abstract（参考訳）: 本稿では,1つの前向きパスからの検証不要なチェックポインティング信号を提案する: 1つの非分離型バッチ上での分類器-ヘッド勾配のフロベニウスノルム,|g||_F = ||dL/dW||_F。 ImageNet-1k CNNとTransformers全体で、このプロキシはTop-1に強く否定的で、損失に肯定的です。 ショートテールウィンドウで最小の頭部勾配でチェックポイントを選択すると、ほとんどのギャップはオラクルに閉じる(4.24% +/-2.00%は普遍的なセットアップ、約1.12%は家族ごとのチューニング)。 実用的なデプロイメントでは、ヘッドスケールの正規化は古典的なCNNファミリ(例えばResNet)でより安定しているが、機能スケールの正規化はトランスフォーマーやモダンなCNNではうまく機能する。 同じワンバッチプローブはCOCO検出/分離mAPも予測する。 拡散(CIFAR-10上のUNet/DDPM)において、進行をトラッキングし、準分布プローブMSEと正に相関し、FIDと負に相関するので、軽量でラベルなしモニターとして使用することができる。 検証ラベルは、レポートを超えて使用されることはない。 このプローブはエポックの0.1%未満を追加し、検証不要なチェックポイントの選択と早期停止のためのドロップインとして機能する。

関連論文リスト

• Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
  テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T10:03:00Z)
• Domain-Specific Block Selection and Paired-View Pseudo-Labeling for Online Test-Time Adaptation [6.64353332639395]
  テスト時適応(TTA)は、事前トレーニングされたモデルを、デプロイ後にソースデータにアクセスすることなく、新しいテストドメインに適応することを目的としている。 既存のアプローチは、テストデータからグラウンドトルースを得ることができないため、擬似ラベルによる自己学習に依存している。 DPLOTは,(1)ドメイン固有のブロック選択と(2)ペアビュー画像を用いた擬似ラベル生成という2つのコンポーネントから構成される,シンプルで効果的なTTAフレームワークである。
  論文  参考訳（メタデータ） (2024-04-17T00:21:36Z)
• Align Your Prompts: Test-Time Prompting with Distribution Alignment for Zero-Shot Generalization [64.62570402941387]
  テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。 提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
  論文  参考訳（メタデータ） (2023-11-02T17:59:32Z)
• DSLA: Dynamic smooth label assignment for efficient anchor-free object detection [18.043176234010517]
  アンカーフリー検出器は、基本的にオブジェクト検出を密な分類と回帰として定式化する。 局所化の質を推定するために、個別の予測分岐を導入するのが一般的である。 分類と品質評価の実践を掘り下げると、以下の矛盾が観測される。
  論文  参考訳（メタデータ） (2022-08-01T12:56:44Z)
• MutexMatch: Semi-supervised Learning with Mutex-based Consistency Regularization [36.019086181632005]
  ミューテックスをベースとした整合性正規化(Mutex)を提案し,信頼性の低いサンプルを新しい方法で活用する。 MutexMatchは、CIFAR-10、CIFAR-100、SVHN、STL-10、mini-ImageNetなど、複数のベンチマークデータセットで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-27T14:28:16Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)
• Deep learning for gravitational-wave data analysis: A resampling white-box approach [62.997667081978825]
  我々は、LIGO検出器からの単一干渉計データを用いて、畳み込みニューラルネットワーク(CNN)を用いて、コンパクトなバイナリコレッセンスにおける重力波(GW)信号を検出する。 CNNはノイズを検出するのに非常に正確だが、GW信号のリコールに十分な感度がないため、CNNはGWトリガの生成よりもノイズ低減に適している。
  論文  参考訳（メタデータ） (2020-09-09T03:28:57Z)
• Tent: Fully Test-time Adaptation by Entropy Minimization [77.85911673550851]
  モデルは、テスト中に新しいデータや異なるデータに一般化するように適応する必要があります。 この完全なテスト時間適応の設定では、モデルはテストデータとそれ自身のパラメータしか持たない。 実験エントロピー最小化(tent): 予測のエントロピーによって測定された信頼度に対するモデルを最適化する。
  論文  参考訳（メタデータ） (2020-06-18T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。