論文の概要: Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent

• arxiv url: http://arxiv.org/abs/2607.22474v1
• Date: Fri, 24 Jul 2026 16:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.18833
• Title: Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent
• Title（参考訳）: 負のリッジ・エンドポイントを超えて:負のシフトした勾配の輝きによる混合符号スペクトル正則化
• Abstract要約: 負シフト勾配降下は構造的制約から逃れることを示す。 フィルタは、wil-be極で滑らかで、混合符号対応である。 有限グリッドのホールドアウト不等式は、分離をバリデーション選択アルゴリズムに転送する。
• 参考スコア（独自算出の注目度）: 11.327284468812948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In overparameterized linear regression, many weak spectral directions act like a ridge penalty on the signal-bearing spectrum; negative ridge is the natural correction, pushing filters above one. The stable negative-ridge endpoint, however, is structurally limited: its pole must stay below the smallest nonzero empirical eigenvalue, and it anti-shrinks smaller eigenvalues more than larger ones. Early-stopped negative-shifted gradient descent escapes this constraint. Its filter is smooth at the would-be pole and mixed-sign-capable: above-ridgeless directions form a leading prefix, with lower directions shrunk or exposure-controlled while stopping sets the crossover. In a Gaussian spike-plus-flat model we discover a Marchenko-Pastur barrier: the shift that cancels the implicit penalty lies a bulk width above the smallest empirical eigenvalue, and the stopped path improves on every admissible endpoint by a polynomial factor in risk under explicit conditions. Our main theorem permits a general high-effective-rank tail: its trace sets the implicit floor, its squared spectrum controls exposure, and the floor-critical path recovers all head scales at once, beyond positive shrinkage and, once scales separate, every uniform rescaling of ridgeless. Handling the noncontractive shifted dynamics is the central technical challenge; localized Duhamel integrals control them. A finite-grid hold-out inequality transfers the separations to the validation-selected algorithm.
• Abstract（参考訳）: 過パラメータ化線形回帰では、多くの弱いスペクトル方向は信号を持つスペクトルのリッジペナルティのように振る舞う。 しかし、安定な負リッジの終端は構造的に制限されており、その極は最小のゼロでない経験的固有値以下でなければならない。 初期の負シフト勾配降下は、この制約から逃れる。 そのフィルターはwhill-be極で滑らかで、ミックスサイン対応で、上部の隆起のない方向は先頭の接頭辞を形成し、低い方向は縮小または露出制御され、交叉を停止させる。 ガウスのスパイクプラスフラットモデルでは、暗黙のペナルティをキャンセルするシフトは最小の経験的固有値よりもバルクワイドで、停止経路は明示的な条件下で多項式係数によって全ての許容エンドポイントで改善される。 そのトレースは暗黙の床をセットし、その正方形スペクトルは露光を制御し、フロアクリティカルパスは正の収縮を超えて全てのヘッドスケールを一度に回復する。 非収縮的なシフト力学を扱うことが中心的な技術的課題であり、ローカライズドハメル積分がそれらを制御している。 有限グリッドのホールドアウト不等式は、分離をバリデーション選択アルゴリズムに転送する。

関連論文リスト

• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• Interior skin focusing and directional mirror transfer in a graded non-Hermitian Krawtchouk network [0.0]
  逆の次数有向ホッピングを持つ有限開Krawtchoukネットワークについて検討する。 広い中間領域の非対称性に対して、それらの局所的な虚ゲージ場はバルク内の符号である。
  論文  参考訳（メタデータ） (2026-08-19T10:56:53Z)
• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data [3.7437735326653883]
  本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。 指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化繰り返しは, 凸バーグ型バリアの最小化に収束することが証明された。
  論文  参考訳（メタデータ） (2026-07-07T08:55:35Z)
• Orthogonality Edges in Strong-Coupling Quantum Work Statistics [0.5541461456285174]
  貯水池への強い反転は、駆動量子系の仕事のピークをシフト、拡大、あるいは服飾以上のことができる。 本研究では, 突然の偏り逆転の下で, スピン-ボソンモデルの包括的作業分布のメカニズムを実証する。
  論文  参考訳（メタデータ） (2026-07-04T16:53:05Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory [23.912005398880293]
  継続的な学習は、以前獲得した能力を損なうことなく、新しいタスク適応を必要とする。 最近のフォワードパスとゼロオーダー(ZO)の結果は、低クエリ適応が一階降下よりも優れていることを示している。 有限差分はFOと平均整合した生の形状を明らかにする。 標準整合ZOの場合、予想される形状の保持曲率は、異方性成分のみを収縮しながら等方性保持床を保存する正確な恒等性に従う。 このアイデンティティを入射勾配に投影すると、観測可能な FO--ZO 二次的無視ギャップが得られる。
  論文  参考訳（メタデータ） (2026-05-11T14:41:08Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Topological Discrimination of Steep to Supersteep Gap as Evidence of Tunneling in Adiabatic Quantum Processes [0.0]
  量子アニール過程の速度を制限するギャップは、3つの正則なモルフォロジーを必要とすることが示されている。 境界線に比例した下肢尾の位置は、超音速と急激な差別を許容する。 ツバメ尾境界相互作用の欠如は、軽度のギャップを特徴づける。
  論文  参考訳（メタデータ） (2023-11-17T05:34:08Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。