論文の概要: Estimating Population-Risk Curves Along Nonconvex Gradient Flows from the Training Sample
- arxiv url: http://arxiv.org/abs/2608.30261v1
- Date: Mon, 31 Aug 2026 05:09:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.242548
- Title: Estimating Population-Risk Curves Along Nonconvex Gradient Flows from the Training Sample
- Title(参考訳): トレーニングサンプルからの非凸勾配流に沿っての人口リスク曲線の推定
- Abstract要約: 本研究は, 実効的非リスクフロー勾配の条件曲線を試料から推定する。
両層ともスムーズな2層平均場ネットワークでは、境界水平フルリスク転送幅は均一である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We estimate the conditional population-risk curve of a realized smooth nonconvex gradient flow from the training sample. Flow approximate leave-one-out (Flow-ALO) propagates a deletion response and evaluates omitted observations at approximate deleted paths. The risk-curve error decomposes into response approximation, exact-LOO fluctuation, and deletion-to-full risk transfer. On each fixed finite horizon, bounded centered training-loss gradients, a one-sided Hessian lower bound, locally Lipschitz Hessians, and a strict tube-closure condition yield an explicit $(n-1)^{-2}$ bound for the deletion-response error. Bounded evaluation-loss gradients transfer the deletion-response bound to the score without requiring the Hessian to be invertible. Direct first-order jackknife cancellation and exact-LOO concentration control deletion-to-full risk transfer and fluctuation, respectively, completing recovery of the conditional population-risk curve. For bounded smooth two-layer mean-field networks training both layers, the score-error bound is uniform in width.
- Abstract(参考訳): 実測した非凸勾配流の条件付き集団リスク曲線をトレーニング試料から推定する。
Flow-ALOは、削除応答を伝播し、ほぼ削除された経路における省略された観察を評価する。
リスク曲線誤差は、応答近似、正確なLOO変動、削除対フルリスク転送に分解される。
各固定有限地平線上では、有界中心の訓練損失勾配、片側ヘッセン下界、局所リプシッツ・ヘッセン、および厳密な管閉鎖条件は、削除応答誤差に対して明示的な$(n-1)^{-2}$バウンドとなる。
境界評価損失勾配は、ヘッセンの可逆性を必要とせずに、削除応答をスコアに転送する。
直接1次ジャックナイフキャンセルと正確なLOO濃度制御の削除, リスク伝達と変動, 条件付き集団リスク曲線の回復がそれぞれ完了した。
両層をトレーニングする有界なスムーズな2層平均場ネットワークの場合、スコアエラー境界幅は均一である。
関連論文リスト
- Singular Curvature in ReLU Training:Differentiation and the Gradient-Flow Limit Need Not Commute [3.337151338735509]
固定有限地平線上で、GD状態が収束し、これらの正確な離散微分が事象のない地域プロパゲータに近づくことを証明する。
結果は、分離された同方向逆イベントの安定な有限イテナリーを持つ決定論的完全バッチ有限ホライゾン力学に関するものである。
論文 参考訳(メタデータ) (2026-08-31T15:26:59Z) - Across the Loss Landscape with Progressive Growth [51.366966420881646]
成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。
制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。
プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
論文 参考訳(メタデータ) (2026-08-25T13:50:48Z) - Simplex Relaxation for Discrete Diffusion [58.33696160279345]
Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。
Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
論文 参考訳(メタデータ) (2026-08-11T07:58:17Z) - Should the Boundary Term Be Learned in Reflected Diffusion? Conormal Trace and Reflection Masking [4.262498901922258]
境界領域上での反射拡散のスコア学習について検討する。
ハードリフレクションは、学習された痕跡が間違っていてもサンプルを維持できる。
論文 参考訳(メタデータ) (2026-08-04T11:05:02Z) - Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent [11.327284468812948]
負シフト勾配降下は構造的制約から逃れることを示す。
フィルタは、wil-be極で滑らかで、混合符号対応である。
有限グリッドのホールドアウト不等式は、分離をバリデーション選択アルゴリズムに転送する。
論文 参考訳(メタデータ) (2026-07-24T16:42:46Z) - Branch-resolved Pauli-block spectroscopy of residual conditional phase in two-qubit gates [0.0]
分岐分解パウリブロック分光法を導入し, サイクルごとの残留ZZ回転角theta_cをその符号で推定する。
このアプローチは、標準忠実度ベンチマークが先行順序で未解決である残条件相の低オーバーヘッド符号付きサイクル当たりの予測を与える。
論文 参考訳(メタデータ) (2026-07-11T10:32:05Z) - Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data [3.7437735326653883]
本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。
指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化繰り返しは, 凸バーグ型バリアの最小化に収束することが証明された。
論文 参考訳(メタデータ) (2026-07-07T08:55:35Z) - Conditional Diffusion Under Linear Constraints: Langevin Mixing and Information-Theoretic Guarantees [10.73598638822051]
線形逆問題に対する事前学習拡散モデルを用いたゼロショット条件付きサンプリングについて検討する。
このスコアを無条件の接点スコアで置き換える誤差は、観測されたコンポーネントと観測されていないコンポーネントの間の次元自由条件の相互情報によって上限づけられていることを証明する。
論文 参考訳(メタデータ) (2026-05-06T19:19:54Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳(メタデータ) (2025-12-01T11:27:09Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳(メタデータ) (2024-02-20T16:01:42Z) - Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from
KKT Conditions for Margin Maximization [59.038366742773164]
ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。
本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
論文 参考訳(メタデータ) (2023-03-02T18:24:26Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳(メタデータ) (2022-10-13T15:09:54Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-05T04:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。