論文の概要: TrIM: Transformed Iterative Mondrian Forests for Gradient-based Dimension Reduction and High-Dimensional Regression

• arxiv url: http://arxiv.org/abs/2407.09964v1
• Date: Sat, 13 Jul 2024 18:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 20:08:02.897298
• Title: TrIM: Transformed Iterative Mondrian Forests for Gradient-based Dimension Reduction and High-Dimensional Regression
• Title（参考訳）: TrIM: 勾配に基づく次元減少と高次元回帰のための形質転換した反復モンドリアン林
• Authors: Ricardo Baptista, Eliza O'Reilly, Yangxinyu Xie,
• Abstract要約: 勾配に基づく線形次元の削減と高次元回帰のための計算効率の良いアルゴリズムを提案する。 アルゴリズムは最初、モンドリアンの森を計算し、この推定器を使って入力の関連する特徴部分空間を特定する。 シミュレーションデータと実データの両方を用いて,関係する特徴部分空間を多種多様な設定で学習するアルゴリズムの有効性を示す。
• 参考スコア（独自算出の注目度）: 0.40964539027092906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a computationally efficient algorithm for gradient-based linear dimension reduction and high-dimensional regression. The algorithm initially computes a Mondrian forest and uses this estimator to identify a relevant feature subspace of the inputs from an estimate of the expected gradient outer product (EGOP) of the regression function. In addition, we introduce an iterative approach known as Transformed Iterative Mondrian (TrIM) forest to improve the Mondrian forest estimator by using the EGOP estimate to update the set of features and weights used by the Mondrian partitioning mechanism. We obtain consistency guarantees and convergence rates for the estimation of the EGOP matrix and the random forest estimator obtained from one iteration of the TrIM algorithm. Lastly, we demonstrate the effectiveness of our proposed algorithm for learning the relevant feature subspace across a variety of settings with both simulated and real data.
• Abstract（参考訳）: 勾配に基づく線形次元の削減と高次元回帰のための計算効率の良いアルゴリズムを提案する。 このアルゴリズムはまずモンドリアンの森を計算し、回帰関数の予測勾配外積(EGOP)の推定値から入力の関連する特徴部分空間を推定するためにこの推定器を使用する。 さらに,モンドリアン分割機構で用いられる特徴と重みの集合をEGOP推定値を用いて更新することにより,モンドリアン森林推定量を改善するため,トランスフォーメート・イテレーティブ・モンドリアン森林 (TrIM) と呼ばれる反復的アプローチを導入する。 我々は、EGOP行列とTrIMアルゴリズムの1イテレーションから得られたランダム森林推定器の整合性保証と収束率を求める。 最後に、シミュレーションデータと実データの両方を用いて、関連する特徴部分空間を多種多様な設定で学習するための提案アルゴリズムの有効性を実証する。

関連論文リスト

• SOFIM: Stochastic Optimization Using Regularized Fisher Information Matrix [10.532651329230497]
  本稿では、正規化フィッシャー情報行列(FIM)に基づく新しい最適化手法を提案する。 大規模な機械学習モデルでニュートンの勾配更新を見つけるために、FIMを効率的に利用してヘッセン反転行列を近似することができる。
  論文  参考訳（メタデータ） (2024-03-05T10:09:31Z)
• Accelerating Generalized Random Forests with Fixed-Point Trees [2.810283834703862]
  適応的なカーネル重み付けアルゴリズムとしてランダムフォレストを利用する。 固定点反復型近似から誘導される一般化ランダム林に対する新しい木成長則を提案する。
  論文  参考訳（メタデータ） (2023-06-20T21:45:35Z)
• Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice [79.48432795639403]
  ミラー降下値反復(MDVI)は、KL(Kulback-Leibler)とRL(Entropy-regularized reinforcement learning)の抽象化である。 MDVIを線形関数近似を用いて研究し,$varepsilon$-optimal policyを同定するために必要なサンプル複雑性について検討した。 我々は,無限水平線形MDPに対して,最小限のサンプル複雑性を実現する最初の理論的アルゴリズムである分散重み付き最小二乗法MDVIを提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:13:05Z)
• Dimension Reduction and MARS [4.525349089861123]
  適応回帰スプライン(MARS)は、非パラメトリック多変量回帰の一般的な推定法の一つである。 本稿では,十分次元の縮小を実現する共変数の線形結合を用いてMARSの性能を向上する。 数値的な研究と実証的な応用は、回帰推定と予測においてMARSや他の一般的な非パラメトリック法よりも効果と改善を示す。
  論文  参考訳（メタデータ） (2023-02-11T21:50:17Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Adaptive LASSO estimation for functional hidden dynamic geostatistical model [69.10717733870575]
  関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。 このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
  論文  参考訳（メタデータ） (2022-08-10T19:17:45Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。