論文の概要: Prediction Algorithms Achieving Bayesian Decision Theoretical Optimality Based on Decision Trees as Data Observation Processes

• arxiv url: http://arxiv.org/abs/2306.07060v1
• Date: Mon, 12 Jun 2023 12:14:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 14:50:21.233033
• Title: Prediction Algorithms Achieving Bayesian Decision Theoretical Optimality Based on Decision Trees as Data Observation Processes
• Title（参考訳）: データ観測過程としての決定木に基づくベイズ決定理論最適性を実現する予測アルゴリズム
• Authors: Yuta Nakahara, Shota Saito, Naoki Ichijo, Koki Kazama, Toshiyasu Matsushima
• Abstract要約: 本稿では,データの背後にあるデータ観測過程を表現するために木を用いる。 我々は、過度な適合に対して頑健な統計的に最適な予測を導出する。 これをマルコフ連鎖モンテカルロ法により解き、ステップサイズは木の後方分布に応じて適応的に調整される。
• 参考スコア（独自算出の注目度）: 1.2774526936067927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of decision trees, most previous studies have difficulty ensuring the statistical optimality of a prediction of new data and suffer from overfitting because trees are usually used only to represent prediction functions to be constructed from given data. In contrast, some studies, including this paper, used the trees to represent stochastic data observation processes behind given data. Moreover, they derived the statistically optimal prediction, which is robust against overfitting, based on the Bayesian decision theory by assuming a prior distribution for the trees. However, these studies still have a problem in computing this Bayes optimal prediction because it involves an infeasible summation for all division patterns of a feature space, which is represented by the trees and some parameters. In particular, an open problem is a summation with respect to combinations of division axes, i.e., the assignment of features to inner nodes of the tree. We solve this by a Markov chain Monte Carlo method, whose step size is adaptively tuned according to a posterior distribution for the trees.
• Abstract（参考訳）: 決定木の分野では、従来の研究のほとんどは、与えられたデータから構築される予測関数を表現するためにのみ使われるため、新しいデータの予測の統計的最適性を保証するのが困難であり、過剰フィッティングに苦しむ。 対照的に、本論文を含むいくつかの研究は、与えられたデータの背後にある確率的データ観測過程を表現するために木を用いた。 さらに,木に対する事前分布を仮定してベイズ決定理論に基づいて,過剰フィッティングに対して頑健な統計的最適予測を導出した。 しかしながら、これらの研究は、このベイズ最適予測の計算において、木といくつかのパラメータで表される特徴空間のすべての分割パターンに対する実現不可能な和を含むため、依然として問題となる。 特に、開問題(英: open problem)とは、分割軸の組み合わせ、すなわち木の内部ノードへの特徴の割り当てに関する総和である。 これをマルコフ連鎖モンテカルロ法により解き、ステップサイズは木の後方分布に応じて適応的に調整される。

関連論文リスト

• Statistical Advantages of Oblique Randomized Decision Trees and Forests [0.0]
  リッジ関数のフレキシブル次元縮小モデルクラスに対して一般化誤差と収束率を求める。 軸方向のモンドリアン木のリスクに対する低い境界は、これらの線形次元減少モデルに対してこれらの推定値が最適であることを示す。
  論文  参考訳（メタデータ） (2024-07-02T17:35:22Z)
• Building Trees for Probabilistic Prediction via Scoring Rules [0.0]
  非パラメトリックな予測分布を生成するために木を修正することを研究する。 木を構築するための標準的な手法は、良い予測分布にはならないかもしれない。 我々は,適切なスコアリングルールに基づいて,木の分割基準を1つに変更することを提案する。
  論文  参考訳（メタデータ） (2024-02-16T20:04:13Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Probability Distribution on Rooted Trees [1.3955252961896318]
  根付き木の階層的表現能力は、データ圧縮、画像処理、機械学習など、さまざまな領域の統計モデルを表現するために応用される。 これを解決するための統一的なアプローチはベイズ的アプローチであり、ルート木をランダム変数とみなし、選択されたモデルや新しいデータポイントの予測値に対して直接損失関数を仮定することができる。 本稿では,最大子ノード数と最大深さのみを固定したルート木に対して,一般化された確率分布を提案する。
  論文  参考訳（メタデータ） (2022-01-24T05:13:58Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Achieving Reliable Causal Inference with Data-Mined Variables: A Random Forest Approach to the Measurement Error Problem [1.5749416770494704]
  一般的な実証的戦略は、利用可能なデータから関心のある変数を'マイニング'する予測モデリング手法の適用を含む。 最近の研究は、機械学習モデルからの予測は必然的に不完全であるため、予測変数に基づく計量分析は測定誤差によるバイアスに悩まされる可能性が高いことを強調している。 ランダムフォレストと呼ばれるアンサンブル学習技術を用いて,これらのバイアスを軽減する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-19T21:48:23Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Handling Missing Data in Decision Trees: A Probabilistic Approach [41.259097100704324]
  確率論的アプローチを採り、決定木で欠落したデータを扱う問題に対処する。 我々は, トラクタブル密度推定器を用いて, モデルの「予測予測」を計算する。 学習時には「予測予測損失」を最小限に抑えて学習済みの樹木の微調整パラメーターを微調整する。
  論文  参考訳（メタデータ） (2020-06-29T19:54:54Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。