論文の概要: Interpretable Representation Learning for Additive Rule Ensembles

• arxiv url: http://arxiv.org/abs/2506.20927v1
• Date: Thu, 26 Jun 2025 01:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.934464
• Title: Interpretable Representation Learning for Additive Rule Ensembles
• Title（参考訳）: 付加規則アンサンブルのための解釈可能な表現学習
• Authors: Shahrzad Behzadimanesh, Pierre Le Bodic, Geoffrey I. Webb, Mario Boley,
• Abstract要約: 記号規則の小さな付加的なアンサンブルは解釈可能な予測モデルを提供する。 我々は、入力変数の学習可能なスパース線形変換を導入することにより、古典的な規則アンサンブルを拡張する。 反復的に重み付けされたロジスティック回帰の定式化に基づく逐次グリーディ最適化を用いた学習手法を提案する。
• 参考スコア（独自算出の注目度）: 6.753916556870879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small additive ensembles of symbolic rules offer interpretable prediction models. Traditionally, these ensembles use rule conditions based on conjunctions of simple threshold propositions $x \geq t$ on a single input variable $x$ and threshold $t$, resulting geometrically in axis-parallel polytopes as decision regions. While this form ensures a high degree of interpretability for individual rules and can be learned efficiently using the gradient boosting approach, it relies on having access to a curated set of expressive and ideally independent input features so that a small ensemble of axis-parallel regions can describe the target variable well. Absent such features, reaching sufficient accuracy requires increasing the number and complexity of individual rules, which diminishes the interpretability of the model. Here, we extend classical rule ensembles by introducing logical propositions with learnable sparse linear transformations of input variables, i.e., propositions of the form $\mathbf{x}^\mathrm{T}\mathbf{w} \geq t$, where $\mathbf{w}$ is a learnable sparse weight vector, enabling decision regions as general polytopes with oblique faces. We propose a learning method using sequential greedy optimization based on an iteratively reweighted formulation of logistic regression. Experimental results demonstrate that the proposed method efficiently constructs rule ensembles with the same test risk as state-of-the-art methods while significantly reducing model complexity across ten benchmark datasets.
• Abstract（参考訳）: 記号規則の小さな付加的なアンサンブルは解釈可能な予測モデルを提供する。 伝統的に、これらのアンサンブルは、単一の入力変数$x$としきい値$t$に対する単純なしきい値命題$x \geq t$の結合に基づいてルール条件を使用する。 この形式は個々の規則に対する高い解釈可能性を保証するとともに、勾配押し上げ手法を用いて効率よく学習できるが、表現的かつ理想的に独立な入力特徴のキュレートされた集合にアクセスでき、軸-平行領域の小さなアンサンブルがターゲット変数をうまく記述できる。 このような特徴を欠き、十分な精度に達するには、個々のルールの数と複雑さを増大させ、モデルの解釈可能性を減らす必要がある。 ここで、古典的なルールアンサンブルは、入力変数の学習可能なスパース線型変換を持つ論理命題、すなわち、$\mathbf{x}^\mathrm{T}\mathbf{w} \geq t$という形の命題を導入することによって拡張される。 反復的に重み付けされたロジスティック回帰の定式化に基づく逐次グリーディ最適化を用いた学習手法を提案する。 実験により,提案手法は,10個のベンチマークデータセットのモデル複雑性を著しく低減しつつ,最先端手法と同じテストリスクのルールアンサンブルを効率的に構築することを示した。

関連論文リスト

• Revisiting Randomization in Greedy Model Search [16.15551706774035]
  特徴サブサンプリングによってランダム化される欲求前方選択推定器のアンサンブルを提案し,解析する。 計算効率を大幅に向上させる動的プログラミングに基づく新しい実装を設計する。 ランダム化アンサンブルが縮小と類似しているという一般的な信念とは対照的に、トレーニングエラーと自由度を同時に低減できることが示される。
  論文  参考訳（メタデータ） (2025-06-18T17:13:53Z)
• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Sparsity via Sparse Group $k$-max Regularization [22.05774771336432]
  本稿では,新規かつ簡潔な正規化,すなわちスパース群$k$-max正規化を提案する。 提案手法の有効性と柔軟性を,合成データセットと実世界のデータセットの数値実験により検証する。
  論文  参考訳（メタデータ） (2024-02-13T14:41:28Z)
• Obtaining Explainable Classification Models using Distributionally Robust Optimization [12.511155426574563]
  特徴値規則の集合を用いて構築した一般化線形モデルについて検討する。 ルールセットの間隔と予測精度の間には、固有のトレードオフが存在する。 我々はこれらの競合する要因に同時に対処するルールセットの集合を学習するための新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:45:34Z)
• Conformalization of Sparse Generalized Linear Models [2.1485350418225244]
  等角予測法は、任意の有限サンプルサイズに対して有効である$y_n+1$の信頼セットを推定する。 魅力的ではあるが、そのような集合の計算は多くの回帰問題において計算不可能である。 経路追従アルゴリズムが共形予測集合を正確に近似する方法を示す。
  論文  参考訳（メタデータ） (2023-07-11T08:36:12Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Ridge regression with adaptive additive rectangles and other piecewise functional templates [0.0]
  関数線形回帰モデルに対する$L_2$ベースのペナル化アルゴリズムを提案する。 提案アルゴリズムは,適切なテンプレートの近似と凸リッジのような問題の解法とを交互に行う方法を示す。
  論文  参考訳（メタデータ） (2020-11-02T15:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。