論文の概要: When the Preconditioning Exponent Turns Negative: Learning-Rate Coupling and Cross-Environment Generalization
- arxiv url: http://arxiv.org/abs/2609.30271v1
- Date: Sat, 25 Jul 2026 01:24:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.112537
- Title: When the Preconditioning Exponent Turns Negative: Learning-Rate Coupling and Cross-Environment Generalization
- Title（参考訳）: プレコンディショニング指数が負に変わるとき--ラーニング・レート・カップリングとクロス環境・ジェネレーション
- Abstract要約: 既存の部分適応法は運動量のような更新と標準アダム平方根の間の指数を研究する。
安定なスパース特徴, 環境依存的なスパース特徴, 密集した特徴, 高次元雑音を有する4つの環境分類問題を用いる。
クロス環境精度を最大化する指数は,$log_10$でほぼ直線的に減少することがわかった。
- 参考スコア（独自算出の注目度）: 11.323131201168572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adaptive optimizers are commonly parameterized by a fixed power of the second-moment estimate. Existing partially adaptive methods study exponents between momentum-like updates and the standard Adam square root, while the interaction between this exponent and the global learning rate is less understood. We perform a controlled cross-environment study using a paired four-environment classification problem with stable sparse features, environment-dependent spurious sparse features, dense features, and high-dimensional noise. Across \NumRuns{} source-training runs covering 21 preconditioning exponents $p\in[-0.5,0.5]$ and five learning rates $η\in[10^{-4},10^{-2}]$, we find that the exponent maximizing cross-environment accuracy decreases almost linearly with $\log_{10}η$. The fitted slopes range from $-0.270$ to $-0.300$, with $R^2$ between $0.972$ and $0.996$. At $η=10^{-2}$, source-validation selection still prefers positive exponents in all four environments, whereas cross-environment and worst-environment criteria prefer negative exponents. Checkpoint decomposition shows that lower $p$ reduces the learned spurious-to-stable and noise-to-stable weight ratios; under reversed correlation, it also reduces the magnitude of the harmful spurious margin. Negative $p$ is therefore not a universally optimal setting. It is a high-step-size allocation regime produced by the joint action of learning rate and preconditioning. The study also exposes a model-selection conflict: source-domain validation systematically selects a different preconditioning regime from the one that maximizes robustness to environmental change. The results are a single-seed, finite-budget mechanism study rather than a broad benchmark claim.
- Abstract（参考訳）: 適応オプティマイザは通常、第2モーメント推定の固定パワーによってパラメータ化される。
既存の部分適応手法では、モーメントライクな更新と標準アダム平方根の指数を研究するが、この指数とグローバル学習率の相互作用は理解されていない。
本研究では, 安定なスパース特性, 環境依存的なスパース特性, 密集した特徴, 高次元雑音を有する2組の4次元環境分類問題を用いて, 制御されたクロス環境調査を行う。
Across \NumRuns{} source-training runs covers 21 preconditioning exponents $p\in[-0.5,0.5]$ and five learning rate $η\in[10^{-4},10^{-2}]$, we found that exponent maximizing cross-environment accuracy is almost linearly with $\log_{10}η$。
嵌められた斜面は、$-0.270$から$-0.300$、$R^2$から$0.972$から$0.996$まで様々である。
η=10^{-2}$では、ソースバリデーションの選択は4つの環境すべてにおいて正の指数を好むが、クロス環境と最悪の環境基準は負の指数を好む。
チェックポイント分解では、学習したスプリラス・ツー・スタブルとノイズ・ツー・スタブルの重量比が低くなり、逆相関の下では有害スプリアス・マージンの規模も小さくなる。
したがって、負の$p$は普遍的に最適な設定ではない。
学習率とプレコンディショニングのジョイントアクションによって生成される、高段階のアロケーションシステムである。
ソースドメイン検証は、環境変化に対する堅牢性を最大化するものから、異なるプレコンディショニング体制を体系的に選択する。
結果は、幅広いベンチマーククレームではなく、単座有限予算機構の研究である。
関連論文リスト
- BRiG-AFA: Bellman Risk-to-Go Learning for Non-Myopic Active Feature Acquisition [8.363536351727978]
アクティブな機能取得は、予算の下で各テストインスタンスの次を計測する観測されていない機能を要求する。
本稿では,残予算毎に個別の候補条件付きリスク・ツー・ゴー関数を学習する,デプロイ可能な教師付き代替手段であるメソッドを導入する。
論文 参考訳（メタデータ） (2026-08-03T14:30:44Z) - Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳（メタデータ） (2026-06-11T05:49:43Z) - On the Optimizer Dependence of Neural Scaling Laws [0.8594140167290097]
スケーリング指数$$は、ニューラルスケーリング法則において$L(N)propto N-$は、一般にアーキテクチャとデータによって固定定数として扱われる。
我々は$が体系的にスケールに依存するという証拠を提示する。
論文 参考訳（メタデータ） (2026-05-28T05:41:36Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Adaptive Confidence Intervals in Efron's Gaussian Two-Groups Model [28.636700996382558]
敵のノイズに満ちた性質により、Efronのガウス的二群分数モデルにおいて、ヌル位置パラメータ$$に対する信頼区間を研究する。
信頼区間の最小最適長を、未知の割合の汚染と全てのノイズに満ちた敵に対して、所定のカバレッジレベルで特徴付ける。
論文 参考訳（メタデータ） (2026-04-28T22:40:54Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - The Conditioning Bias in Binary Decision Trees and Random Forests and
Its Elimination [0.0]
格子特性を持つ特徴が存在する場合の条件付き演算子の選択によって生じるバイアスについて検討する。
我々は、このバイアスを排除し、決定木によるさらなる予測を必要とし、無作為な森林のコストを発生させない手法を提案する。
論文 参考訳（メタデータ） (2023-12-17T12:56:39Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。