Fugu-MT 論文翻訳(概要): Gradient-Descent Steps to Success over Mean Accuracy: A Paradigm Shift for ML

論文の概要: Gradient-Descent Steps to Success over Mean Accuracy: A Paradigm Shift for ML

arxiv url: http://arxiv.org/abs/2606.22053v1
Date: Sat, 20 Jun 2026 14:10:49 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 23:02:45.042757
Title: Gradient-Descent Steps to Success over Mean Accuracy: A Paradigm Shift for ML
Title（参考訳）: 平均的正確性を超えたグラディエントDescentのステップ:MLのパラダイムシフト
Abstract要約: 本稿では,高い確率で許容できる精度に達するために必要な勾配降下ステップの総数として,計算努力に基づく性能評価へのパラダイムシフトを提案する。我々は、この取り組みを最小化することが、Automatic Machine Learning(AutoML)の新たな形態として機能することを実証した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Traditional evaluation of machine learning (ML) models typically focuses on achieving the maximum possible accuracy irrespective of the computational cost. In this article, we propose a paradigm shift towards evaluating performance based on computational effort-explicitly defined here as the total number of gradient descent steps required to reach an acceptable level of accuracy with high probability. Building upon the concept of computational effort originally introduced by Koza for Genetic Programming, we extend this metric to any ML model trained via gradient descent. Furthermore, we demonstrate that minimising this effort acts as a novel form of Automatic Machine Learning (AutoML). By evaluating it across 11 diverse ML models and five standard classification datasets, we uncover significant insights into the dynamics of gradient-based learning. Our findings reveal that optimal hyper-parameters consistently favour unusually large learning rates. Crucially, we demonstrate that the rapid, aggressive landscape traversal enabled by these large rates not only promotes generalisation-as seen in phenomena like superconvergence-but also statistically minimises the expected computational effort for training. Furthermore, we identify distinct phase transitions in the optimal search strategy: while a single training run suffices for lower accuracy targets, reaching a model's performance limit requires a dramatic shift towards conducting numerous independent, short restarts. Finally, we illustrate how this effort-based paradigm provides a robust framework for model selection, allowing practitioners to choose optimal algorithms based on the difficulty of a problem as perceived by different models for a given target accuracy, or to maximise the achievable accuracy for a fixed budget of gradient descent steps.
Abstract（参考訳）: 機械学習(ML)モデルの従来の評価は、計算コストに関係なく可能な限りの精度を達成することに重点を置いている。本稿では,高い確率で許容できる精度に達するために必要な勾配降下ステップの総数として,計算努力に基づく性能評価へのパラダイムシフトを提案する。遺伝的プログラミングのためにKozaが最初に導入した計算作業の概念に基づいて、この指標を勾配降下法を用いて訓練された任意のMLモデルに拡張する。さらに、この取り組みを最小化することは、Automatic Machine Learning(AutoML)の新たな形態として機能することを示す。 11の多様なMLモデルと5つの標準分類データセットで評価することにより、勾配に基づく学習のダイナミクスに関する重要な洞察を明らかにする。以上の結果から,最適なハイパーパラメータは不規則に大きな学習速度を優先することが明らかとなった。重要なことは、これらの大きな速度で実現された急激で攻撃的なランドスケープ・トラバースは、超収束のような現象に見られるような一般化を促進するだけでなく、予想されるトレーニングの計算労力を統計的に最小化することを示しています。さらに, モデルの性能限界に達するには, 1回のトレーニングで精度の低い目標を達成できるが, 多数の独立した短い再起動を行うためには, 劇的な変化が必要である。最後に、この取り組みに基づくパラダイムがモデル選択のための堅牢なフレームワークをいかに提供するかを説明し、与えられた目標精度の異なるモデルで認識される問題の難しさに基づいて最適なアルゴリズムを選択するか、あるいは勾配降下ステップの固定予算に対する達成可能な精度を最大化する。

関連論文リスト

Binomial Gradient-Based Meta-Learning for Enhanced Meta-Gradient Estimation [37.795850351021016]
グラディエントベースのメタラーニング(GBML)は、新しいタスクの前に順応するために勾配降下に依存する。既存の手法では、乱れたバックプロパゲーションによって先行パラメータ(メタグラディエント)の勾配を近似するが、大きな近似誤差を被る。この研究は二項GBML (BinomGBML) を提案し、これはメタ階調推定のための二項展開に依存する。
論文参考訳（メタデータ） (2026-04-14T19:52:15Z)
Optimizing ML Training with Metagradient Descent [69.89631748402377]
モデルトレーニングによる勾配というメタグラディエントを,大規模に効率的に計算するアルゴリズムを導入する。次に、メタグラディエントを用いた効果的な最適化を可能にする「滑らかなモデルトレーニング」フレームワークを導入する。
論文参考訳（メタデータ） (2025-03-17T22:18:24Z)
GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。 GAQATフレームワークの有効性を実験により検証した。
論文参考訳（メタデータ） (2024-12-07T06:07:21Z)
LPLgrad: Optimizing Active Learning Through Gradient Norm Sample Selection and Auxiliary Model Training [2.762397703396293]
LPLgrad(Loss Prediction Loss with Gradient Norm)は、モデルの不確実性を効果的に定量化し、画像分類タスクの精度を向上させる。 LPLgradは2つの異なるフェーズで動作する: (i) Em Training Phaseは、メインモデルと補助モデルとを併用して入力特徴の損失を予測することを目的としている。この二重モデルアプローチは、複雑な入力特徴を抽出し、データから本質的なパターンを効果的に学習する能力を高める。
論文参考訳（メタデータ） (2024-11-20T18:12:59Z)
What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文参考訳（メタデータ） (2024-11-12T09:52:40Z)
Gradient-free variational learning with conditional mixture networks [39.827869318925494]
条件付き混合ネットワーク(CMN)の高速・勾配なし変分法であるCAVI-CMNを導入する。 CAVI-CMNは、バックプロパゲーションを伴う最大推定値(MLE)と比較して、競争力があり、しばしば優れた予測精度を達成する。入力サイズや専門家の数が増加するにつれて、計算時間はMLEと競合的にスケールする。
論文参考訳（メタデータ） (2024-08-29T10:43:55Z)
An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-07-30T16:30:09Z)
Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文参考訳（メタデータ） (2024-04-10T14:38:58Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文参考訳（メタデータ） (2021-06-22T03:13:23Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。