Fugu-MT 論文翻訳(概要): Stagewise Boosting Distributional Regression

論文の概要: Stagewise Boosting Distributional Regression

arxiv url: http://arxiv.org/abs/2405.18288v1
Date: Tue, 28 May 2024 15:40:39 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 17:59:58.617430
Title: Stagewise Boosting Distributional Regression
Title（参考訳）: 段階的に分布回帰を増強する
Authors: Mattias Wetscher, Johannes Seiler, Reto Stauffer, Nikolaus Umlauf,
Abstract要約: 本稿では,分布回帰のための段階的ブースティング型アルゴリズムを提案する。新たな正則化手法である相関フィルタリングを用いて拡張し,さらなる安定性を実現する。大規模なデータセットを処理するメリットに加えて、近似の性質はより良い結果をもたらす可能性がある。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Forward stagewise regression is a simple algorithm that can be used to estimate regularized models. The updating rule adds a small constant to a regression coefficient in each iteration, such that the underlying optimization problem is solved slowly with small improvements. This is similar to gradient boosting, with the essential difference that the step size is determined by the product of the gradient and a step length parameter in the latter algorithm. One often overlooked challenge in gradient boosting for distributional regression is the issue of a vanishing small gradient, which practically halts the algorithm's progress. We show that gradient boosting in this case oftentimes results in suboptimal models, especially for complex problems certain distributional parameters are never updated due to the vanishing gradient. Therefore, we propose a stagewise boosting-type algorithm for distributional regression, combining stagewise regression ideas with gradient boosting. Additionally, we extend it with a novel regularization method, correlation filtering, to provide additional stability when the problem involves a large number of covariates. Furthermore, the algorithm includes best-subset selection for parameters and can be applied to big data problems by leveraging stochastic approximations of the updating steps. Besides the advantage of processing large datasets, the stochastic nature of the approximations can lead to better results, especially for complex distributions, by reducing the risk of being trapped in a local optimum. The performance of our proposed stagewise boosting distributional regression approach is investigated in an extensive simulation study and by estimating a full probabilistic model for lightning counts with data of more than 9.1 million observations and 672 covariates.
Abstract（参考訳）: 前向き回帰は、正規化モデルの推定に使用できる単純なアルゴリズムである。更新規則は各繰り返しにおける回帰係数に小さな定数を加え、基礎となる最適化問題を小さな改善でゆっくりと解く。これは勾配ブースティングと似ており、ステップサイズが勾配の積と後者のアルゴリズムのステップ長パラメータによって決定されるという本質的な違いがある。分布回帰の勾配の増大においてしばしば見落とされがちな課題は、アルゴリズムの進行を事実上停止する小さな勾配の問題である。この場合、勾配が増大すると、特に複雑な問題では、勾配が消えるため、特定の分布パラメータは更新されない。そこで本研究では,段階的回帰のアイデアと段階的回帰のアイデアを組み合わせた,段階的回帰型分布回帰アルゴリズムを提案する。さらに,新たな正則化法である相関フィルタリングを用いて拡張し,多数の共変量を含む問題にさらなる安定性を与える。さらに、アルゴリズムはパラメータの最適サブセット選択を含み、更新ステップの確率近似を利用してビッグデータ問題に適用することができる。大規模なデータセットを処理することの利点に加えて、近似の確率的性質は、特に複雑な分布において、局所的な最適値に閉じ込められるリスクを減らすことにより、より良い結果をもたらす可能性がある。提案手法の有効性をシミュレーションし,910万以上の観測データと672の共変量を用いて,雷数に対する完全な確率モデルの推定を行った。

関連論文リスト

Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文参考訳（メタデータ） (2023-06-20T15:07:37Z)
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models? [46.01087792062936]
クラス内のEmphbestメソッドの相対的性能による推定器のクラスの比較を行う。これにより、学習アルゴリズムのチューニング感度を厳格に定量化できます。
論文参考訳（メタデータ） (2021-08-26T16:01:37Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-22T17:21:56Z)
Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。モデルに基づく手続きが雑音勾配設定に収束することを証明する。これは自己チューニング二次体を構築するための興味深いステップである。
論文参考訳（メタデータ） (2020-11-09T22:07:30Z)
A spectral algorithm for robust regression with subgaussian rates [0.0]
本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
論文参考訳（メタデータ） (2020-07-12T19:33:50Z)
Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文参考訳（メタデータ） (2020-07-02T16:02:02Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。我々は、測定値の低減を行う降下ステップを適応的に選択する。これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文参考訳（メタデータ） (2020-06-02T17:52:59Z)
Robust Boosting for Regression Problems [0.0]
基底学習者の線形結合による回帰予測アルゴリズムの構築このロバストなブースティングアルゴリズムは、2段階のアプローチに基づいており、ロバストな線形回帰のためにブースティングが行なわれているのと同様である。非定型的な観測が存在しない場合、頑健な昇降法は正方形損失を伴う標準勾配昇降法と同様に機能する。
論文参考訳（メタデータ） (2020-02-06T01:12:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。