論文の概要: Convergence and Generalization of Anti-Regularization for Parametric Models

• arxiv url: http://arxiv.org/abs/2508.17412v1
• Date: Sun, 24 Aug 2025 15:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.513687
• Title: Convergence and Generalization of Anti-Regularization for Parametric Models
• Title（参考訳）: パラメトリックモデルに対する反正則化の収束と一般化
• Authors: Dongseok Kim, Wonjun Jeong, Gisung Oh,
• Abstract要約: 反正則化(AR)は、小サンプル体制におけるモデル表現性を意図的に増加させる損失に対して、符号反転報酬項を付加する。 我々は、スペクトル安全性と信頼領域条件を定式化し、投射演算子と勾配クリッピングを組み合わせた軽量な安定安全ガードを設計する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Anti-regularization (AR), which adds a sign-reversed reward term to the loss to intentionally increase model expressivity in the small-sample regime, and then attenuates this intervention with a power-law decay as the sample size grows. We formalize spectral safety and trust-region conditions, and design a lightweight stability safeguard that combines a projection operator with gradient clipping, ensuring stable intervention under stated assumptions. Our analysis spans linear smoothers and the Neural Tangent Kernel (NTK) regime, providing practical guidance on selecting the decay exponent by balancing empirical risk against variance. Empirically, AR reduces underfitting while preserving generalization and improving calibration in both regression and classification. Ablation studies confirm that the decay schedule and the stability safeguard are critical to preventing overfitting and numerical instability. We further examine a degrees-of-freedom targeting schedule that keeps per-sample complexity approximately constant. AR is simple to implement and reproducible, integrating cleanly into standard empirical risk minimization pipelines. It enables robust learning in data- and resource-constrained settings by intervening only when beneficial and fading away when unnecessary.
• Abstract（参考訳）: 本稿では, サンプルサイズが大きくなるにつれて, モデル表現率を意図的に向上させるために, 損失に符号逆報酬項を加えた反正則化(AR)を提案する。 我々は、スペクトル安全性と信頼領域条件を定式化し、投射作用素と勾配クリッピングを組み合わせた軽量な安定安全ガードを設計し、所定の仮定の下で安定した干渉を確保する。 解析は線形スムーサとニューラル・タンジェント・カーネル(NTK)体制にまたがっており, 分散に対する経験的リスクのバランスをとることにより, 減衰指数の選択に関する実践的なガイダンスを提供する。 経験的に、ARは一般化を維持しながら不適合を減らし、回帰と分類の両方で校正を改善する。 アブレーション研究により、崩壊スケジュールと安定性の保護は過度な適合と数値不安定を防ぐために重要であることが確認された。 さらに、サンプルごとの複雑さをほぼ一定に保つような、自由度を目標とするスケジュールについても検討する。 ARは実装と再現が簡単で、標準的な経験的リスク最小化パイプラインにきれいに統合される。 有益な場合にのみ介入し、不要な時に消えてしまえば、データとリソースの制約のある環境で堅牢な学習が可能になる。

関連論文リスト

• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Low-Rank Approximation of Structural Redundancy for Self-Supervised Learning [2.3072402651280517]
  本研究では,その有効性に光を当てるために,再構成SSLのデータ生成機構について検討する。 ラベル付きサンプルの無限の量で、完全線形近似に十分かつ必要な条件を提供する。 この条件により、低ランク因子化による冗長成分の近似を提案する。
  論文  参考訳（メタデータ） (2024-02-10T04:45:27Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Soft ascent-descent as a stable and flexible alternative to flooding [6.527016551650139]
  我々は,軟化・ポイントワイド機構であるSoftADを提案する。この機構は,降水量と降水量の影響を制限し,洪水の上昇・昇華効果を維持できる。 我々は,より小さな損失一般化ギャップとモデル規範を享受しながら,浸水と競合する分類精度をSoftADが実現できることを実証する。
  論文  参考訳（メタデータ） (2023-10-16T02:02:56Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。