論文の概要: Jacobian Aligned Random Forests
- arxiv url: http://arxiv.org/abs/2512.08306v1
- Date: Tue, 09 Dec 2025 07:08:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-10 22:28:07.854533
- Title: Jacobian Aligned Random Forests
- Title(参考訳): Jacobian (複数形 Jacobians)
- Authors: Sarwesh Rauniyar,
- Abstract要約: 我々は、軸方向決定木に対する斜め森林の代替として、ヤコビ-アラインランダム林(JARF)を提示する。
JARFは、軸方向の森林を一貫して改善し、トレーニング時間を改善しつつ、基準線にマッチまたは超越することが多いことを示す。
実験結果と理論解析により, 森林の簡易性, 頑健性を保ちつつ, 森林の斜め森林の精度の多くを復元できることが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Axis-aligned decision trees are fast and stable but struggle on datasets with rotated or interaction-dependent decision boundaries, where informative splits require linear combinations of features rather than single-feature thresholds. Oblique forests address this with per-node hyperplane splits, but at added computational cost and implementation complexity. We propose a simple alternative: JARF, Jacobian-Aligned Random Forests. Concretely, we first fit an axis-aligned forest to estimate class probabilities or regression outputs, compute finite-difference gradients of these predictions with respect to each feature, aggregate them into an expected Jacobian outer product that generalizes the expected gradient outer product (EGOP), and use it as a single global linear preconditioner for all inputs. This supervised preconditioner applies a single global rotation of the feature space, then hands the transformed data back to a standard axis-aligned forest, preserving off-the-shelf training pipelines while capturing oblique boundaries and feature interactions that would otherwise require many axis-aligned splits to approximate. The same construction applies to any model that provides gradients, though we focus on random forests and gradient-boosted trees in this work. On tabular classification and regression benchmarks, this preconditioning consistently improves axis-aligned forests and often matches or surpasses oblique baselines while improving training time. Our experimental results and theoretical analysis together indicate that supervised preconditioning can recover much of the accuracy of oblique forests while retaining the simplicity and robustness of axis-aligned trees.
- Abstract(参考訳): 軸整列決定木は高速かつ安定しているが、情報分割が単一機能閾値ではなく機能の線形結合を必要とするような、回転または相互作用に依存した決定境界を持つデータセットに苦慮する。
斜めの森はノードごとの超平面分割でこの問題に対処するが、計算コストと実装の複雑さが増す。
本稿では,JARF,Jacobian-Aligned Random Forestsを提案する。
具体的には,まず,クラス確率や回帰出力を推定し,各特徴について,これらの予測の有限差勾配を計算し,予想される勾配外積(EGOP)を一般化するジャコビアン外積に集約し,全ての入力に対して単一の大域的線形プレコンディショナーとして利用する。
この教師付きプレコンディショナーは、特徴空間の1つの大域回転を適用し、変換されたデータを標準の軸方向の森に戻す。
同じ構成が勾配を与えるモデルにも当てはまるが、この研究では無作為な森林や傾斜木に焦点をあてる。
表の分類と回帰のベンチマークでは、このプレコンディショニングは軸に沿った森林を一貫して改善し、トレーニング時間を改善しながら斜めの基準線にマッチまたは超越することが多い。
実験結果と理論解析により, 森林の簡易性, 頑健性を保ちつつ, 森林の斜め森林の精度の多くを復元できることが示唆された。
関連論文リスト
- Lassoed Forests: Random Forests with Adaptive Lasso Post-selection [36.24615773895282]
理論上,標準およびラッソ重み付きランダム林の相対的な性能は信号対雑音比に依存することを示す。
適応重み付けを適用し,ランダム林とラッソ選別を組み合わせた統合フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-10T04:39:09Z) - A Powerful Random Forest Featuring Linear Extensions (RaFFLE) [1.2233362977312945]
RaFFLEは、ランダムな森林アンサンブル内でPILOTツリーをベースラーナーとして統合する新しいフレームワークである。
PILOT木は、従来の決定木の計算効率と線形モデル木の柔軟性を組み合わせたものである。
RaFFLEは様々な回帰問題に対処するための汎用ツールであることが証明されている。
論文 参考訳(メタデータ) (2025-02-14T14:22:51Z) - Statistical Advantages of Oblique Randomized Decision Trees and Forests [3.468886360466785]
多次元モデルのフレキシブル関数クラスに対して一般化誤差境界と収束率を求める。
軸方向のモンドリアン木のリスクに対する低い境界が得られ、これらの推定子は一般リッジ関数に最適であることが証明された。
論文 参考訳(メタデータ) (2024-07-02T17:35:22Z) - Ensembles of Probabilistic Regression Trees [46.53457774230618]
木に基づくアンサンブル法は多くの応用や研究で回帰問題に成功している。
本研究では,確率分布に関する各領域の観察を割り当てることで,目的関数のスムーズな近似を提供する確率回帰木のアンサンブルバージョンについて検討する。
論文 参考訳(メタデータ) (2024-06-20T06:51:51Z) - Distributional Adaptive Soft Regression Trees [0.0]
本稿では,多変量ソフトスプリットルールを用いた分布回帰木の新しいタイプを提案する。
ソフトスプリットの大きな利点の1つは、滑らかな高次元函数を1つの木で見積もることができることである。
シミュレーションにより,アルゴリズムは優れた特性を有し,様々なベンチマーク手法より優れていることを示す。
論文 参考訳(メタデータ) (2022-10-19T08:59:02Z) - Neural Jacobian Fields: Learning Intrinsic Mappings of Arbitrary Meshes [38.157373733083894]
本稿では,ニューラルネットワークによる任意のメッシュの断片的線形マッピングを正確に予測するフレームワークを提案する。
このフレームワークは、グローバルな形状記述子に条件付けされた単一点の行列の予測に神経的な側面を還元することに基づいている。
個々のメッシュの固有の勾配領域で操作することで、フレームワークは高度に正確なマッピングを予測できる。
論文 参考訳(メタデータ) (2022-05-05T19:51:13Z) - Minimax Rates for High-Dimensional Random Tessellation Forests [0.0]
モンドリアン林は、任意の次元でミニマックスレートが得られた最初のランダム林である。
概略分割方向を持つ多種多様なランダム林は任意の次元における最小収束率も達成できることを示す。
論文 参考訳(メタデータ) (2021-09-22T06:47:38Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳(メタデータ) (2020-12-29T18:05:05Z) - Residual Correlation in Graph Neural Network Regression [39.54530450932135]
我々は条件付き独立仮定が予測力を著しく制限していることを示します。
この問題を解釈可能かつ効率的なフレームワークで解決する。
我々のフレームワークは、競合するベースラインよりもかなり高い精度を実現している。
論文 参考訳(メタデータ) (2020-02-19T16:32:54Z) - Adaptive Correlated Monte Carlo for Contextual Categorical Sequence
Generation [77.7420231319632]
我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。
また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
論文 参考訳(メタデータ) (2019-12-31T03:01:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。