論文の概要: The Selectively Adaptive Lasso

• arxiv url: http://arxiv.org/abs/2205.10697v1
• Date: Sun, 22 May 2022 00:34:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 16:35:51.760237
• Title: The Selectively Adaptive Lasso
• Title（参考訳）: 選択的適応型ラッソ
• Authors: Alejandro Schuler, Mark van der Laan
• Abstract要約: 高適応ラッソ (Highly Adaptive Lasso, HAL) は、有意義に大きな関数のクラスに対して十分早く収束することが証明された唯一の回帰法である。 我々はHALの理論に基づいて、HALの次元自由非パラメトリック収束率を保持する新しいアルゴリズムSAL(Selectively Adaptive Lasso)を構築する。 我々のアルゴリズムは適応的な学習率で勾配木を増進する形式であり、既成のソフトウェアで高速かつ簡単な実装を可能にする。
• 参考スコア（独自算出の注目度）: 77.92020418343022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning regression methods allow estimation of functions without unrealistic parametric assumptions. Although they can perform exceptionally in prediction error, most lack theoretical convergence rates necessary for semi-parametric efficient estimation (e.g. TMLE, AIPW) of parameters like average treatment effects. The Highly Adaptive Lasso (HAL) is the only regression method proven to converge quickly enough for a meaningfully large class of functions, independent of the dimensionality of the predictors. Unfortunately, HAL is not computationally scalable. In this paper we build upon the theory of HAL to construct the Selectively Adaptive Lasso (SAL), a new algorithm which retains HAL's dimension-free, nonparametric convergence rate but which also scales computationally to massive datasets. To accomplish this, we prove some general theoretical results pertaining to empirical loss minimization in nested Donsker classes. Our resulting algorithm is a form of gradient tree boosting with an adaptive learning rate, which makes it fast and trivial to implement with off-the-shelf software. Finally, we show that our algorithm retains the performance of standard gradient boosting on a diverse group of real-world datasets. SAL makes semi-parametric efficient estimators practically possible and theoretically justifiable in many big data settings.
• Abstract（参考訳）: 機械学習回帰法は非現実的なパラメトリック仮定なしで関数を推定できる。 予測誤差は極めて高いが、平均処理効果のようなパラメータの半パラメトリックな効率的な推定(tmle、aipwなど)に必要な理論的収束率には不足している。 高適応ラッソ (Highly Adaptive Lasso, HAL) は、有意義に大きい関数のクラスに対して十分早く収束することが証明された唯一の回帰法である。 残念ながら、HALは計算能力に乏しい。 本稿では,HALの次元自由な非パラメトリック収束率を保持するアルゴリズムであるSelectively Adaptive Lasso(SAL)を構築するために,HALの理論を構築した。 これを達成するために,ネストドンスカークラスにおける経験的損失最小化に関する一般的な理論的結果を証明する。 結果として得られたアルゴリズムは,適応学習率による勾配木ブースティングの一形態であり,既製ソフトウェアによる実装が迅速かつ自明である。 最後に,本アルゴリズムは,多様な実世界のデータセット群上での標準勾配向上性能を保っていることを示す。 SALは、多くのビッグデータ設定において、半パラメトリック効率的な推定器を現実的に可能かつ理論的に正当化する。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Min-Max Optimization under Delays [26.830212508878162]
  大規模な機械学習問題では遅延と非同期は避けられない。 min-max最適化に類似した理論は存在しない。 たとえ小さな遅延であっても、エクストラグラディエントのような顕著なアルゴリズムが分岐する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-07-13T16:39:01Z)
• SoftTreeMax: Exponential Variance Reduction in Policy Gradient via Tree Search [68.66904039405871]
  我々は,計画を考慮したソフトマックスの一般化であるSoftTreeMaxを紹介する。 この分散を緩和する上で,木の拡大政策が果たす役割を初めて示す。 我々の分化可能なツリーベースのポリシーは、従来の単一サンプルベースの勾配ではなく、各環境における木の葉のすべての勾配を利用する。
  論文  参考訳（メタデータ） (2023-01-30T19:03:14Z)
• A Robust Hypothesis Test for Tree Ensemble Pruning [2.4923006485141284]
  そこで我々は,勾配増進木アンサンブルの分割品質に関する理論的に正当化された新しい仮説を考案し,提示する。 本手法は, 一般的なペナルティ条件ではなく, サンプル損失の低減につながることを示す。 また,この手法にいくつかの革新的な拡張を加えて,様々な新しい木刈りアルゴリズムの扉を開く。
  論文  参考訳（メタデータ） (2023-01-24T16:31:49Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• GBHT: Gradient Boosting Histogram Transform for Density Estimation [73.94900378709023]
  textitGradient Boosting Histogram Transform (GBHT) と呼ばれる密度推定アルゴリズムを提案する。 そこで本研究では,高揚化がベース学習者の性能向上に寄与する理由を理論的に説明するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-06-10T13:40:28Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• Linear Last-iterate Convergence in Constrained Saddle-point Optimization [48.44657553192801]
  我々は、OGDA(Optimistic Gradient Descent Ascent)とOMWU(Optimistic Multiplicative Weights Update)に対する最終段階の独特さの理解を著しく拡大する。 平衡が一意である場合、線形終端収束は、値が普遍定数に設定された学習速度で達成されることを示す。 任意のポリトープ上の双線型ゲームがこの条件を満たすことを示し、OGDAは一意の平衡仮定なしで指数関数的に高速に収束することを示した。
  論文  参考訳（メタデータ） (2020-06-16T20:53:04Z)
• Random Reshuffling: Simple Analysis with Vast Improvements [9.169947558498535]
  ランダムリシャッフル(Random Reshuffling, RR)は、データリシャッフルと共に反復降下ステップを利用する有限サム関数を最小化するアルゴリズムである。
  論文  参考訳（メタデータ） (2020-06-10T17:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。