論文の概要: Sparse Oblique Rule Boosting for Simpler Additive Rule Ensembles
- arxiv url: http://arxiv.org/abs/2609.06426v1
- Date: Sun, 06 Sep 2026 06:59:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.249152
- Title: Sparse Oblique Rule Boosting for Simpler Additive Rule Ensembles
- Title（参考訳）: Sparse Oblique Rule Boosting for Simpler Additive Rule Ensembles
- Abstract要約: 我々は、入力変数の学習可能なスパース線形変換を導入することにより、古典的な規則アンサンブルを拡張する。
提案手法は、類似またはより良い予測精度を維持しながら、競合するベースラインよりもモデルの複雑さを低くする。
- 参考スコア（独自算出の注目度）: 6.233380277719077
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Small additive ensembles of symbolic rules offer interpretable prediction models. Traditionally, these ensembles use rule conditions based on conjunctions of simple threshold propositions $x \geq t$ on a single input variable $x$ and threshold $t$, resulting geometrically in axis-parallel polytopes as decision regions. While this form ensures a high degree of interpretability for individual rules and can be learned efficiently using the gradient boosting approach, it relies on having access to a curated set of expressive input features so that a small ensemble of axis-parallel regions can describe the target variable well. Absent such features, reaching sufficient accuracy requires increasing the number and complexity of individual rules, which diminishes the interpretability of the model. Here, we extend classical rule ensembles by introducing logical propositions with learnable sparse linear transformations of input variables, i.e., propositions of the form $\mathbf{x}^T\mathbf{w} \geq t$, where $\mathbf{w}$ is a learnable sparse weight vector, enabling decision regions as general polyhedrons with oblique faces. We propose a learning method using gradient boosting based on a weighted logistic regression. Empirical results across 14 regression and classification tasks demonstrate that the proposed method achieves lower model complexity than competitive baselines while maintaining similar or better predictive accuracy. Hence, the approach provides a favorable trade-off between interpretability and accuracy and reduces the reliance on manual feature engineering.
- Abstract（参考訳）: 記号規則の小さな付加的なアンサンブルは解釈可能な予測モデルを提供する。
伝統的に、これらのアンサンブルは、単一の入力変数$x$としきい値$t$に対する単純なしきい値命題$x \geq t$の結合に基づいてルール条件を使用する。
この形式は、個々の規則に対する高い解釈可能性を確保し、グラデーションブースティングアプローチを用いて効率的に学習できるが、軸平行領域の小さなアンサンブルがターゲット変数をうまく記述できるように、一連の表現的入力特徴にアクセスできることに依存している。
このような特徴を欠き、十分な精度に達するには、個々のルールの数と複雑さを増大させ、モデルの解釈可能性を減らす必要がある。
ここでは、古典的なルールアンサンブルを、入力変数の学習可能なスパース線型変換、すなわち $\mathbf{x}^T\mathbf{w} \geq t$ という形の命題で導入することにより、古典的なルールアンサンブルを拡張する。
重み付きロジスティック回帰に基づく勾配ブースティングを用いた学習手法を提案する。
14の回帰・分類タスクにまたがる実験結果から,提案手法は類似あるいはより良い予測精度を維持しつつ,競合するベースラインよりもモデルの複雑さが低いことを示す。
したがって、このアプローチは解釈可能性と正確性の間の良好なトレードオフを提供し、手動の特徴工学への依存を減らす。
関連論文リスト
- Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳（メタデータ） (2026-04-09T16:38:14Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。
不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。
本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。
本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
論文 参考訳（メタデータ） (2026-01-29T18:07:18Z) - On the Computational Complexity of Performative Prediction [59.584063949469645]
我々は、$$-performatively stable pointの計算がPPAD完全であることを示す。
我々の重要な技術的貢献の1つは、PPAD-hardnessの結果を一般的な凸領域に拡張することである。
論文 参考訳（メタデータ） (2026-01-28T02:26:35Z) - Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。
実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
論文 参考訳（メタデータ） (2025-09-29T12:55:50Z) - Interpretable Representation Learning for Additive Rule Ensembles [6.753916556870879]
記号規則の小さな付加的なアンサンブルは解釈可能な予測モデルを提供する。
我々は、入力変数の学習可能なスパース線形変換を導入することにより、古典的な規則アンサンブルを拡張する。
反復的に重み付けされたロジスティック回帰の定式化に基づく逐次グリーディ最適化を用いた学習手法を提案する。
論文 参考訳（メタデータ） (2025-06-26T01:24:08Z) - Orthogonal Gradient Boosting for Simpler Additive Rule Ensembles [10.40809014729148]
予測規則のグラディエント向上は、潜在的に解釈可能で正確な確率モデルを学ぶための効率的なアプローチである。
本稿では, リスク勾配ベクトルと条件出力ベクトルの射影との角度を, 既に選択された条件の補数に対して測定する方法を示す。
このアプローチは、リスク勾配自体をモデルに追加する理想的な更新を正しく近似し、より一般的でより短いルールを含めることを好んでいる。
論文 参考訳（メタデータ） (2024-02-24T02:29:10Z) - Obtaining Explainable Classification Models using Distributionally
Robust Optimization [12.511155426574563]
特徴値規則の集合を用いて構築した一般化線形モデルについて検討する。
ルールセットの間隔と予測精度の間には、固有のトレードオフが存在する。
我々はこれらの競合する要因に同時に対処するルールセットの集合を学習するための新しい定式化を提案する。
論文 参考訳（メタデータ） (2023-11-03T15:45:34Z) - A Quadrature Rule combining Control Variates and Adaptive Importance
Sampling [0.0]
モンテカルロ積分推定の精度を向上させるために, 単純重み付き最小二乗法が有効であることを示す。
我々の主な成果は、プロシージャの確率的誤差の非漸近的境界である。
この手法のよい振る舞いは、ベイズ線形回帰のための合成例と実世界のデータに実証的に説明される。
論文 参考訳（メタデータ） (2022-05-24T08:21:45Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z) - Adaptive Correlated Monte Carlo for Contextual Categorical Sequence
Generation [77.7420231319632]
我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。
また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
論文 参考訳（メタデータ） (2019-12-31T03:01:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。