論文の概要: Soft Hoeffding Tree: A Transparent and Differentiable Model on Data Streams

• arxiv url: http://arxiv.org/abs/2411.04812v1
• Date: Thu, 07 Nov 2024 15:49:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:53.949382
• Title: Soft Hoeffding Tree: A Transparent and Differentiable Model on Data Streams
• Title（参考訳）: Soft Hoeffding Tree: データストリームの透明で微分可能なモデル
• Authors: Kirsten Köbschall, Lisa Hartung, Stefan Kramer,
• Abstract要約: Hoeffding Treeのようなストリームマイニングアルゴリズムは、入ってくるデータストリームに基づいて成長する。 我々は,データストリームを無限に変化させる可能性のある,新しい微分可能かつ透明なモデルとして,ソフトなHoeffding Tree (SoHoT)を提案する。
• 参考スコア（独自算出の注目度）: 2.6524539020042663
• License:
• Abstract: We propose soft Hoeffding trees (SoHoT) as a new differentiable and transparent model for possibly infinite and changing data streams. Stream mining algorithms such as Hoeffding trees grow based on the incoming data stream, but they currently lack the adaptability of end-to-end deep learning systems. End-to-end learning can be desirable if a feature representation is learned by a neural network and used in a tree, or if the outputs of trees are further processed in a deep learning model or workflow. Different from Hoeffding trees, soft trees can be integrated into such systems due to their differentiability, but are neither transparent nor explainable. Our novel model combines the extensibility and transparency of Hoeffding trees with the differentiability of soft trees. We introduce a new gating function to regulate the balance between univariate and multivariate splits in the tree. Experiments are performed on 20 data streams, comparing SoHoT to standard Hoeffding trees, Hoeffding trees with limited complexity, and soft trees applying a sparse activation function for sample routing. The results show that soft Hoeffding trees outperform Hoeffding trees in estimating class probabilities and, at the same time, maintain transparency compared to soft trees, with relatively small losses in terms of AUROC and cross-entropy. We also demonstrate how to trade off transparency against performance using a hyperparameter, obtaining univariate splits at one end of the spectrum and multivariate splits at the other.
• Abstract（参考訳）: 我々は,データストリームを無限に変化させる可能性のある,新しい微分可能かつ透明なモデルとして,ソフトなHoeffding Tree (SoHoT)を提案する。 Hoeffding Treeのようなストリームマイニングアルゴリズムは、入ってくるデータストリームに基づいて成長するが、現時点ではエンドツーエンドのディープラーニングシステムの適応性に欠けている。 ニューラルネットワークによって特徴表現が学習され、木で使用される場合や、ディープラーニングモデルやワークフローで木の出力がさらに処理される場合、エンドツーエンドの学習が望ましい。 ホーフディングの木と異なり、柔らかい木はその分化性のためにこのようなシステムに統合できるが、透明でも説明もできない。 我々の新しいモデルでは,フレッド樹の拡張性と透明性と軟木の識別性を組み合わせた。 木内の単変量分裂と多変量分裂のバランスを調節する新しいゲーティング関数を導入する。 実験は20のデータストリーム上で行われ、SoHoTを標準のHoeffding木、限られた複雑さのHoeffding木、サンプルルーティングにスパースアクティベーション関数を適用したソフトツリーと比較する。 その結果, 軟葉樹はクラス確率を推定し, 軟葉樹に比べて透明性を保ちつつ, AUROCとクロスエントロピーの点で比較的損失が小さいことが示唆された。 また、ハイパーパラメーターを用いて透明性とパフォーマンスのトレードオフを行い、スペクトルの一方の端で単変量分割、もう一方の端で多変量分割を得る方法を示す。

関連論文リスト

• Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers [68.76846801719095]
  統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。 森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T15:36:43Z)
• ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained Visual Categorization [56.37520969273242]
  細かな視覚分類のための新しいアプローチであるViTreeを紹介する。 ツリーパスをトラバースすることで、ViTreeは変換処理された機能からパッチを効果的に選択し、情報のあるローカルリージョンをハイライトする。 このパッチとパスの選択性は、ViTreeのモデルの解釈可能性を高め、モデルの内部動作に関するより良い洞察を可能にする。
  論文  参考訳（メタデータ） (2024-01-30T14:32:25Z)
• Effective and Efficient Federated Tree Learning on Hybrid Data [80.31870543351918]
  本稿では,ハイブリッドデータ上でのフェデレーションツリー学習を可能にする,新しいフェデレーション学習手法であるHybridTreeを提案する。 木に一貫した分割ルールが存在することを観察し、木の下層にパーティの知識を組み込むことができることを示す。 実験により,HybridTreeは計算および通信のオーバーヘッドが低い集中的な設定に匹敵する精度を達成できることを示した。
  論文  参考訳（メタデータ） (2023-10-18T10:28:29Z)
• Tree Variational Autoencoders [5.992683455757179]
  本稿では,潜在変数上の柔軟木に基づく後続分布を学習する階層的階層クラスタリングモデルを提案する。 TreeVAEは、本質的な特徴に従ってサンプルを階層的に分割し、データ内の隠れた構造に光を遮る。
  論文  参考訳（メタデータ） (2023-06-15T09:25:04Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Dynamic Model Tree for Interpretable Data Stream Learning [14.37676876556672]
  本研究では、進化するデータストリームにおける機械学習のためのモデルツリーを再検討する。 我々の新しいフレームワークはDynamic Model Treeと呼ばれ、望ましい一貫性と最小限の性質を満たす。
  論文  参考訳（メタデータ） (2022-03-30T10:05:35Z)
• Active-LATHE: An Active Learning Algorithm for Boosting the Error Exponent for Learning Homogeneous Ising Trees [75.93186954061943]
  我々は、$rho$が少なくとも0.8$である場合に、エラー指数を少なくとも40%向上させるアルゴリズムを設計し、分析する。 我々の分析は、グラフの一部により多くのデータを割り当てるために、微小だが検出可能なサンプルの統計的変動を巧みに活用することに基づいている。
  論文  参考訳（メタデータ） (2021-10-27T10:45:21Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Uncovering Feature Interdependencies in High-Noise Environments with Stepwise Lookahead Decision Forests [0.0]
  ランダムフォレストアルゴリズムの「Stepwise lookahead」変異は、二項特徴相互依存性をよりよく発見する能力を示す。 銅先物取引の長期的戦略は、毎日の物価リターンの兆候を予測するために、欲望と無作為な森林の両方を訓練することで実証される。
  論文  参考訳（メタデータ） (2020-09-30T11:31:10Z)
• The Tree Ensemble Layer: Differentiability meets Conditional Computation [8.40843862024745]
  我々は、異なる決定木(ソフトツリー)のアンサンブルからなるニューラルネットワークのための新しいレイヤを導入する。 異なる木は文学において有望な結果を示すが、典型的には条件計算をサポートしないため、訓練と推論が遅い。 我々は、空間性を利用する特殊前方及び後方伝播アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-02-18T18:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。