論文の概要: Joint Optimization of Piecewise Linear Ensembles

• arxiv url: http://arxiv.org/abs/2405.00303v1
• Date: Wed, 1 May 2024 03:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 16:37:17.242127
• Title: Joint Optimization of Piecewise Linear Ensembles
• Title（参考訳）: ピアスワイド線形アンサンブルの合同最適化
• Authors: Matt Raymond, Angela Violi, Clayton Scott,
• Abstract要約: ツリーアンサンブルは、厳格に最適化されているにもかかわらず、最先端のパフォーマンスを達成する。 線形アンサンブル(JOPLEN)の組合せ最適化を提案する。 GRと比較すると、JOPLENはモデルの柔軟性を向上し、スペーサ性プロモーティング行列ノルムやサブスペースノルムなどの一般的な罰則を非線形予測に適用することができる。
• 参考スコア（独自算出の注目度）: 11.34717731050474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree ensembles achieve state-of-the-art performance despite being greedily optimized. Global refinement (GR) reduces greediness by jointly and globally optimizing all constant leaves. We propose Joint Optimization of Piecewise Linear ENsembles (JOPLEN), a piecewise-linear extension of GR. Compared to GR, JOPLEN improves model flexibility and can apply common penalties, including sparsity-promoting matrix norms and subspace-norms, to nonlinear prediction. We evaluate the Frobenius norm, $\ell_{2,1}$ norm, and Laplacian regularization for 146 regression and classification datasets; JOPLEN, combined with GB trees and RF, achieves superior performance in both settings. Additionally, JOPLEN with a nuclear norm penalty empirically learns smooth and subspace-aligned functions. Finally, we perform multitask feature selection by extending the Dirty LASSO. JOPLEN Dirty LASSO achieves a superior feature sparsity/performance tradeoff to linear and gradient boosted approaches. We anticipate that JOPLEN will improve regression, classification, and feature selection across many fields.
• Abstract（参考訳）: ツリーアンサンブルは、厳格に最適化されているにもかかわらず、最先端のパフォーマンスを達成する。 グローバルリファインメント(GR)は、すべての常緑葉を共同で、かつ、グローバルに最適化することで、欲求性を低下させる。 本稿では,GR のピースワイズ線形拡張である Piecewise Linear ENsembles (JOPLEN) の組合せ最適化を提案する。 GRと比較すると、JOPLENはモデルの柔軟性を改善し、不規則な予測にスパーシティプロモーティング行列ノルムや部分空間ノルムなどの一般的な罰則を適用することができる。 我々はフロベニウス標準、$\ell_{2,1}$ノルム、146の回帰および分類データセットに対するラプラシアン正規化を評価する。 さらに、核ノルムのペナルティを持つJOPLENは、スムーズで部分空間整列関数を経験的に学習する。 最後に、Dirty LASSOを拡張してマルチタスク特徴選択を行う。 JOPLEN Dirty LASSOは、線形および勾配向上アプローチに対して優れた特徴空間/性能トレードオフを実現する。 我々はJOPLENが多くの分野における回帰、分類、特徴選択を改善することを期待する。

関連論文リスト

• Free Lunch in the Forest: Functionally-Identical Pruning of Boosted Tree Ensembles [45.962492329047215]
  木アンサンブルを原モデルと「機能的に同一」な縮小版にプルークする方法を提案する。 我々は,アンサンブル上での機能的同一プルーニングの問題を形式化し,正確な最適化モデルを導入し,大規模なアンサンブルをプルーする高速かつ高効率な方法を提供する。
  論文  参考訳（メタデータ） (2024-08-28T23:15:46Z)
• A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming [2.1408617023874443]
  木アンサンブル法は、教師付き分類と回帰タスクにおいて有効であることが知られている。 我々の研究は、訓練された木アンサンブルから最適化されたルールのリストを抽出することを目的としており、利用者に凝縮された解釈可能なモデルを提供する。
  論文  参考訳（メタデータ） (2024-06-30T22:33:47Z)
• Adaptive Split Balancing for Optimal Random Forest [8.916614661563893]
  そこで本研究では,新しい適応型分割バランス法を用いて木を構築するランダムフォレストアルゴリズムを提案する。 本手法は,データから木構造を適応的に学習しながら,シンプルでスムーズなシナリオで最適性を実現する。
  論文  参考訳（メタデータ） (2024-02-17T09:10:40Z)
• Combinatorial Stochastic-Greedy Bandit [79.1700188160944]
  我々は,選択した$n$のアームセットのジョイント報酬以外の余分な情報が観測されない場合に,マルチアームのバンディット問題に対する新規グリーディ・バンディット(SGB)アルゴリズムを提案する。 SGBは最適化された拡張型コミットアプローチを採用しており、ベースアームの大きなセットを持つシナリオ用に特別に設計されている。
  論文  参考訳（メタデータ） (2023-12-13T11:08:25Z)
• End-to-end Feature Selection Approach for Learning Skinny Trees [13.388576838688202]
  木アンサンブルにおける特徴選択のための最適化に基づく新しい手法を提案する。 Skinny Treesは、ツリーアンサンブルの機能選択のためのエンドツーエンドツールキットである。
  論文  参考訳（メタデータ） (2023-10-28T00:15:10Z)
• Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
  リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。 まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。 第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
  論文  参考訳（メタデータ） (2023-10-14T07:02:54Z)
• Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization [0.0]
  本稿では,プレデコン(PreDecomp)を提案する。プレデコン(PreDecomp,PreDecomp,PreDecomp)は,正規化を$ell$で訓練した場合に,増木に対する新規な個別化特徴属性である。 また、各ツリーのアウトサンプルデータに個々の特徴属性とラベルの内積で定義される、偏りのないグローバルな特徴属性のファミリーであるTreeInnerを提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:56:22Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Provably Efficient Generative Adversarial Imitation Learning for Online and Offline Setting with Linear Function Approximation [81.0955457177017]
  GAIL(Generative Adversarial mimicion Learning)では、特定の報酬セットにおいて、専門家の政策からそのパフォーマンスを区別できないように、専門家のデモンストレーションからポリシーを学習することを目的としている。 GAILをオンラインとオフラインの両方で線形関数近似を用いて検討し、その変換関数と報酬関数は特徴写像において線形である。
  論文  参考訳（メタデータ） (2021-08-19T16:16:00Z)
• Span-based Semantic Parsing for Compositional Generalization [53.24255235340056]
  SpanBasedSPは入力発話上のスパンツリーを予測し、部分的なプログラムが入力内のスパンをどのように構成するかを明示的に符号化する。 GeoQuery、SCAN、CLOSUREでは、SpanBasedSPはランダムスプリットの強いseq2seqベースラインと似ているが、構成一般化を必要とするスプリットのベースラインに比べて劇的に性能が向上する。
  論文  参考訳（メタデータ） (2020-09-13T16:42:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。