論文の概要: Accelerating Generalized Random Forests with Fixed-Point Trees

• arxiv url: http://arxiv.org/abs/2306.11908v1
• Date: Tue, 20 Jun 2023 21:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-06-22 15:36:10.633572
• Title: Accelerating Generalized Random Forests with Fixed-Point Trees
• Title（参考訳）: 固定点木を用いた一般化ランダム林の促進
• Authors: David Fleischer and David A. Stephens and Archer Yang
• Abstract要約: 適応的なカーネル重み付けアルゴリズムとしてランダムフォレストを利用する。 固定点反復型近似から誘導される一般化ランダム林に対する新しい木成長則を提案する。
• 参考スコア（独自算出の注目度）: 2.810283834703862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalized random forests arXiv:1610.01271 build upon the well-established success of conventional forests (Breiman, 2001) to offer a flexible and powerful non-parametric method for estimating local solutions of heterogeneous estimating equations. Estimators are constructed by leveraging random forests as an adaptive kernel weighting algorithm and implemented through a gradient-based tree-growing procedure. By expressing this gradient-based approximation as being induced from a single Newton-Raphson root-finding iteration, and drawing upon the connection between estimating equations and fixed-point problems arXiv:2110.11074, we propose a new tree-growing rule for generalized random forests induced from a fixed-point iteration type of approximation, enabling gradient-free optimization, and yielding substantial time savings for tasks involving even modest dimensionality of the target quantity (e.g. multiple/multi-level treatment effects). We develop an asymptotic theory for estimators obtained from forests whose trees are grown through the fixed-point splitting rule, and provide numerical simulations demonstrating that the estimators obtained from such forests are comparable to those obtained from the more costly gradient-based rule.
• Abstract（参考訳）: 一般化ランダム林 arXiv:1610.01271 は、不均一な推定方程式の局所解を推定するための柔軟で強力な非パラメトリック法を提供するために、従来の森林(Breiman, 2001)の成功に基づいて構築される。 ランダムフォレストを適応的なカーネル重み付けアルゴリズムとして利用して推定を行い、勾配に基づく木成長手法により実装する。 By expressing this gradient-based approximation as being induced from a single Newton-Raphson root-finding iteration, and drawing upon the connection between estimating equations and fixed-point problems arXiv:2110.11074, we propose a new tree-growing rule for generalized random forests induced from a fixed-point iteration type of approximation, enabling gradient-free optimization, and yielding substantial time savings for tasks involving even modest dimensionality of the target quantity (e.g. multiple/multi-level treatment effects). 固定点分割則により樹木が成長した森林から得られる推定値に対する漸近的理論を開発し, よりコストのかかる勾配法則から得られた推定値に匹敵する推定値を示す数値シミュレーションを行った。

関連論文リスト

• Enhanced Derivative-Free Optimization Using Adaptive Correlation-Induced Finite Difference Estimators [6.054123928890574]
  勾配推定効率とサンプル効率の両面からDFOを向上させるアルゴリズムを開発した。 提案アルゴリズムの整合性を確立し,反復毎にサンプルのバッチを用いても,KW法やSPSA法と同じ収束率が得られることを示した。
  論文  参考訳（メタデータ） (2025-02-28T08:05:54Z)
• Tighter sparse variational Gaussian processes [22.290236192353316]
  Sparse variational Gaussian process (GP) 近似は、GPを大規模データセットにスケーリングするデファクトスタンダードとなっている。 本稿では、誘導点に与えられた条件的近似後続が前と一致しなければならないという標準仮定を緩和することにより、より厳密な変分近似を導入する。
  論文  参考訳（メタデータ） (2025-02-07T08:33:28Z)
• HNCI: High-Dimensional Network Causal Inference [4.024850952459758]
  本稿では, 平均的直接治療効果に対する有効信頼区間と, 干渉効果に対する有効信頼区間とを両立する高次元ネットワーク因果推論(HNCI)を提案する。
  論文  参考訳（メタデータ） (2024-12-24T17:41:41Z)
• Likelihood approximations via Gaussian approximate inference [3.4991031406102238]
  ガウス密度による非ガウス確率の影響を近似する効率的なスキームを提案する。 その結果,大規模な点推定および分布推定設定における二進分類と多進分類の近似精度が向上した。 副産物として,提案した近似ログ類似度は,ニューラルネットワーク分類のためのラベルの最小二乗よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-28T05:39:26Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Statistical Advantages of Oblique Randomized Decision Trees and Forests [0.0]
  リッジ関数のフレキシブル次元縮小モデルクラスに対して一般化誤差と収束率を求める。 軸方向のモンドリアン木のリスクに対する低い境界は、これらの線形次元減少モデルに対してこれらの推定値が最適であることを示す。
  論文  参考訳（メタデータ） (2024-07-02T17:35:22Z)
• Ensembles of Probabilistic Regression Trees [46.53457774230618]
  木に基づくアンサンブル法は多くの応用や研究で回帰問題に成功している。 本研究では,確率分布に関する各領域の観察を割り当てることで,目的関数のスムーズな近似を提供する確率回帰木のアンサンブルバージョンについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T06:51:51Z)
• Adaptive Split Balancing for Optimal Random Forest [8.916614661563893]
  そこで本研究では,新しい適応型分割バランス法を用いて木を構築するランダムフォレストアルゴリズムを提案する。 本手法は,データから木構造を適応的に学習しながら,シンプルでスムーズなシナリオで最適性を実現する。
  論文  参考訳（メタデータ） (2024-02-17T09:10:40Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Random forests for binary geospatial data [0.0]
  既存のバイナリデータに対するランダムフォレストの実装では、地理空間や時系列設定に共通するデータ相関を明示的に説明することはできない。 最近の研究は、一般化最小二乗損失(GLS)を用いた空間共分散を含むランダム森林(RF)をRF-GLSに拡張している。 二進データの場合、GLS損失はGiniの不純物測度の拡張であり、後者は通常の最小二乗損失(OLS)と全く同じである。 一般化された第1段階からの平均関数のRF-GLS推定を組み込む新しいリンク変換手法を提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:34:33Z)
• On the Pointwise Behavior of Recursive Partitioning and Its Implications for Heterogeneous Causal Effect Estimation [8.394633341978007]
  決定木学習は、ポイントワイズ推論にますます使われている。 適応決定木は、非消滅確率のノルムにおける収束の収束率を達成できないことを示す。 ランダムな森林は状況を改善することができ、貧弱な樹木をほぼ最適な手順に変えることができる。
  論文  参考訳（メタデータ） (2022-11-19T21:28:30Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Modelling hetegeneous treatment effects by quantitle local polynomial decision tree and forest [0.0]
  本稿では,2001年のブレイマンの無作為林木(RFT)とWagerらの因果樹に基づいて,非パラメトリック問題のパラメータ化を行う。 我々は,定式規則による定量分類と局所標本の古典的推定を組み合わせた決定木を提案し,この決定木をQLPRT(quantile local linear causal tree)とQLPRF( Forest)と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-30T12:02:16Z)
• Minimax Rates for High-Dimensional Random Tessellation Forests [0.0]
  モンドリアン林は、任意の次元でミニマックスレートが得られた最初のランダム林である。 概略分割方向を持つ多種多様なランダム林は任意の次元における最小収束率も達成できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T06:47:38Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。