論文の概要: EarlyStopping: Implicit Regularization for Iterative Learning Procedures in Python

• arxiv url: http://arxiv.org/abs/2503.16753v1
• Date: Thu, 20 Mar 2025 23:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:57:51.780943
• Title: EarlyStopping: Implicit Regularization for Iterative Learning Procedures in Python
• Title（参考訳）: EarlyStopping: Pythonにおける反復的な学習手順のための暗黙の規則化
• Authors: Eric Ziebell, Ratmir Miftachov, Bernhard Stankewitz, Laura Hucker,
• Abstract要約: EarlyStopping-packageは、よく知られた反復推定手順のために、シーケンシャルな早期停止ルールのツールボックスを提供する。 パッケージの中心的な特徴の1つは、アルゴリズムが真のデータ生成プロセスの仕様を許容していることである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Iterative learning procedures are ubiquitous in machine learning and modern statistics. Regularision is typically required to prevent inflating the expected loss of a procedure in later iterations via the propagation of noise inherent in the data. Significant emphasis has been placed on achieving this regularisation implicitly by stopping procedures early. The EarlyStopping-package provides a toolbox of (in-sample) sequential early stopping rules for several well-known iterative estimation procedures, such as truncated SVD, Landweber (gradient descent), conjugate gradient descent, L2-boosting and regression trees. One of the central features of the package is that the algorithms allow the specification of the true data-generating process and keep track of relevant theoretical quantities. In this paper, we detail the principles governing the implementation of the EarlyStopping-package and provide a survey of recent foundational advances in the theoretical literature. We demonstrate how to use the EarlyStopping-package to explore core features of implicit regularisation and replicate results from the literature.
• Abstract（参考訳）: 反復的な学習手順は、機械学習や現代的な統計学においてユビキタスである。 通常、正規化は、データ固有のノイズの伝搬を通じて、後続のイテレーションで手続きの期待損失が膨らむのを防ぐために必要である。 手順を早期に停止することで、この規則化を暗黙的に達成することに重要な重点が置かれている。 EarlyStopping-packageは、散在するSVD、Landweber(段階的な降下)、共役勾配降下、L2-boosting、回帰木など、よく知られた反復的な推定手順のための(サンプル内での)シーケンシャルな早期停止ルールのツールボックスを提供する。 パッケージの中心的な特徴の1つは、アルゴリズムが真のデータ生成プロセスの仕様を許容し、関連する理論的量を追跡することである。 本稿では,EarlyStopping-packageの実装を規定する原則を詳述するとともに,理論文献の最近の基礎的進歩について調査する。 我々は、EarlyStopping-packageを使って暗黙の正規化のコア機能を探索し、文献から結果を複製する方法を実証する。

関連論文リスト

• Regression under demographic parity constraints via unlabeled post-processing [5.762345156477737]
  本稿では,人口統計値に合致する予測を生成する汎用ポストプロセッシングアルゴリズムを提案する。 我々は凸関数の勾配ノルムを正確に制御する必要がある。 提案アルゴリズムは有限サンプル解析と後処理バウンダリによって裏付けられ, 実験結果から理論的知見が得られた。
  論文  参考訳（メタデータ） (2024-07-22T08:11:58Z)
• Boosted Conformal Prediction Intervals [5.762286612061953]
  我々は、予め定義された整合性スコア関数を改善するために機械学習技術を用いる。 強化されたコンフォメーション手順は、間隔長の削減と目標条件範囲からの偏差の低減で大幅に改善される。
  論文  参考訳（メタデータ） (2024-06-11T16:54:51Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
  本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。 行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T07:46:24Z)
• Testing Stationarity and Change Point Detection in Reinforcement Learning [9.468399367975984]
  予め収集した履歴データに基づいて最適なQ-関数の非定常性をテストする一貫した手順を開発する。 さらに、非定常環境における政策最適化のための既存の最先端RL手法と自然に結合可能な逐次変化点検出法を開発した。
  論文  参考訳（メタデータ） (2022-03-03T13:30:28Z)
• Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients [36.078414964088196]
  初期化時にニューラルネットワークをプルーニングすることで、元のネットワークの精度を保ったスパースモデルを見つけることができる。 現在の方法は、この最適化を可能にするには不十分であり、モデル性能の大幅な低下につながります。 提案するProspect Pruning(ProsPr)は,最適化の最初の数ステップを通じてメタグラディエントを用いて,どの重み付けを行うかを決定する。 本手法は,従来のプルーニング・アット・初期化手法と比較して,データの少ない1ショットで,様々な視覚分類タスクにおける最先端のプルーニング性能を実現する。
  論文  参考訳（メタデータ） (2022-02-16T15:18:55Z)
• Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions [20.531576904743282]
  オフ政治推定バイアスは、決定ごとに補正される。 Tree BackupやRetraceといったオフポリティクスアルゴリズムはこのメカニズムに依存している。 任意の過去のトレースを許可するマルチステップ演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-23T00:07:28Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。