論文の概要: Stepsize modulation for cross entropy from local quadratic optimization

• arxiv url: http://arxiv.org/abs/2611.05191v1
• Date: Tue, 03 Nov 2026 16:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:52:02.278616
• Title: Stepsize modulation for cross entropy from local quadratic optimization
• Title（参考訳）: 局所2次最適化によるクロスエントロピーのステップサイズ変調
• Abstract要約: 交叉エントロピー損失を有する勾配勾配降下における学習速度スケジュールを摂動する2つの方法が提示された。 どちらの手法も、ミニバッチ損失の様々な微分を推定するために余分なフォワードパスを使用する。 この方法は、Resnetsのトレーニングのために、Cifar10とCifar100データセットで評価される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two methods are presented that perturb a given learning rate schedule in stochastic gradient descent with cross entropy loss. Both methods use an extra forward pass to estimate various derivatives of the minibatch loss. The first method selects a value $η$ by linearising the softmax values and minimizing the squared error $\tfrac 1 2 ||y - q - ηq'||_F^2$, where $q$ is the matrix representing the softmax values of the minibatch and $y$ is the matrix with one-hot encodings of the labels. The second method considers a quadratic Taylor approximation of the minibatch loss under the outer approximation of the Hessian. Thus, it minimizes $L(0) + ηL'(0) + \tfrac 1 2 η^2 L''(0)$. Here, the derivatives $L'$ and $L''$ are computed from the derivatives of the logits (using the outer approximation of the Hessian of the loss). We observe that both methods give very similar values of $η$. Finally, these estimated $η$ are used to slightly increase or decrease the learning rate of an existing schedule. The method is evaluated on Cifar10 and Cifar100 datasets for training Resnets, where they decrease the loss faster than the schedule that is perturbed and increase monotonicity. For Cifar10 it also leads to a small improvement of test accuracy, but in Cifar100 test accuracy remains the same.
• Abstract（参考訳）: 交叉エントロピー損失を伴う確率勾配降下における学習速度スケジュールを摂動する2つの方法が提示された。 どちらの手法も、ミニバッチ損失の様々な微分を推定するために余分なフォワードパスを使用する。 第1の方法は、ソフトマックス値を線形化し、二乗誤差 $\tfrac 1 2 ||y - q - ηq'||_F^2$ を最小化し、$q$ はミニバッチのソフトマックス値を表す行列であり、$y$ はラベルの1ホット符号化を持つ行列である。 第2の方法は、ヘッセンの外部近似の下でのミニバッチ損失の2次テイラー近似を考える。 したがって、$L(0) + ηL'(0) + \tfrac 1 2 η^2 L'(0)$ を最小化する。 ここで、デリバティブ$L'$と$L'$は、ロジットの微分から計算される(損失のヘッセンの外部近似を用いて)。 両方のメソッドが$η$と非常によく似た値を与えるのを観察する。 最後に、これらの推定$η$は、既存のスケジュールの学習率をわずかに増加または減少するために使用される。 この方法は、ResnetsをトレーニングするためのCifar10とCifar100データセットで評価され、摂動したスケジュールよりも早く損失を減らし、単調性を高める。 Cifar10では、テスト精度も若干改善されるが、Cifar100のテスト精度は同じである。

関連論文リスト

• Descending Everest, Part II: Oracle Complexity of Minimizing a Sum of Convex $(L_0,L_1)$-Smooth Functions [50.90629146297993]
  期待値において精度$varepsilon$に達する複雑さを導出する。 上界は提案手法YETIにより達成される。 下界は、任意の一階法で困難であるインスタンスの族を明示的に構成することで得られる。
  論文  参考訳（メタデータ） (2026-11-03T02:01:46Z)
• Convex Optimization Is Free When Accuracy Is Expensive [18.56538898519597]
  我々は、勾配を正確に評価できないときに凸最適化を研究するが、精度$$$で$-$のように計算が成長するアルゴリズムの階層によってのみ近似される。 損失関数の最小化に要するコストは,問題要求の精度での勾配の1つの評価よりも,$のみに依存する。
  論文  参考訳（メタデータ） (2026-09-28T15:30:18Z)
• Ghosts of Softmax: Complex Singularities That Limit Safe Step Sizes in Cross-Entropy [0.0]
  クロスエントロピートレーニング分析は、提案されたステップが目標を減少させるかどうかを予測するために、損失の局所的なテイラーモデルに依存する。 提案した更新方向に沿って,ロジット線形化の下で閉形式式を導出する。 _a$の正規化は、標準偏差$0.992$から$0.164$へのオンセット閾値の広がりを縮小する。
  論文  参考訳（メタデータ） (2026-03-13T19:42:12Z)
• Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients [0.196629787330046]
  目的関数の部分的な2次情報を組み込むことで、分散還元勾配法のミニバッチサイズに対するロバスト性を劇的に向上させることができることを示す。 本稿では,この現象をプロトタイプNewton(textttMb-SVRN$)アルゴリズムで示す。
  論文  参考訳（メタデータ） (2024-04-23T05:45:52Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• MLPGradientFlow: going with the flow of multilayer perceptrons (and finding minima fast and accurately) [6.4560113506698436]
  GradientFlowは数値勾配流微分方程式を解くソフトウェアパッケージである。 小さなネットワークやデータセットでは、勾配はpytorchよりも高速に計算され、Hessianは少なくとも5倍速で計算される。
  論文  参考訳（メタデータ） (2023-01-25T15:21:44Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Computationally Efficient Horizon-Free Reinforcement Learning for Linear Mixture MDPs [111.75736569611159]
  線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。 我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。 これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
  論文  参考訳（メタデータ） (2022-05-23T17:59:18Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes [91.38793800392108]
  本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。 上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。 我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-12-15T18:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。