論文の概要: A Neural Tangent Kernel Formula for Ensembles of Soft Trees with Arbitrary Architectures

• arxiv url: http://arxiv.org/abs/2205.12904v1
• Date: Wed, 25 May 2022 16:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 13:37:56.857014
• Title: A Neural Tangent Kernel Formula for Ensembles of Soft Trees with Arbitrary Architectures
• Title（参考訳）: 任意のアーキテクチャを持つソフトツリーのアンサンブルのための神経接核公式
• Authors: Ryuichi Kanoh, Mahito Sugiyama
• Abstract要約: ソフトツリーは、勾配法を用いて分割規則を更新する決定ツリーの活発に研究された変種である。 任意の木構造に対してソフトツリーアンサンブルによって誘導されるニューラルカーネルタンジェント(NTK)を定式化し解析する。
• 参考スコア（独自算出の注目度）: 5.634825161148483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A soft tree is an actively studied variant of a decision tree that updates splitting rules using the gradient method. Although it can have various tree architectures, the theoretical properties of their impact are not well known. In this paper, we formulate and analyze the Neural Tangent Kernel (NTK) induced by soft tree ensembles for arbitrary tree architectures. This kernel leads to the remarkable finding that only the number of leaves at each depth is relevant for the tree architecture in ensemble learning with infinitely many trees. In other words, if the number of leaves at each depth is fixed, the training behavior in function space and the generalization performance are exactly the same across different tree architectures, even if they are not isomorphic. We also show that the NTK of asymmetric trees like decision lists does not degenerate when they get infinitely deep. This is in contrast to the perfect binary trees, whose NTK is known to degenerate and leads to worse generalization performance for deeper trees.
• Abstract（参考訳）: ソフトツリーは、勾配法を用いて分割規則を更新する決定ツリーの活発に研究された変種である。 様々な木構造を持つことができるが、その影響の理論的性質はよく分かっていない。 本稿では,任意の木構造のためのソフトツリーアンサンブルによって誘導されるニューラルタンジェントカーネル(NTK)を定式化し,解析する。 このカーネルは、無限に多くの木を持つアンサンブル学習において、各深さの葉の数だけがツリーアーキテクチャに関係しているという驚くべき発見につながっている。 言い換えると、各深さの葉の数を固定すると、関数空間におけるトレーニング行動と一般化性能は、それらが同型でない場合でも、異なる木アーキテクチャ間で全く同じである。 また、決定リストのような非対称木のNTKは無限に深くなると退化しないことを示す。 これは、NTKが退化することが知られ、より深い木に対するより悪い一般化性能をもたらす完全二分木とは対照的である。

関連論文リスト

• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• DeepTree: Modeling Trees with Situated Latents [8.372189962601073]
  そこで本研究では,木を手作業で定義するのではなく,分岐構造に対する発達規則を学習する手法を提案する。 我々は、その振る舞いが本質的な状態によって決定されるため、潜伏状態にあるディープニューラルモデル(deep Neural model)と呼ぶ。 本手法では,複雑なパラメータを定義することなく,多様な木形を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T03:33:14Z)
• Structure-Unified M-Tree Coding Solver for MathWord Problem [57.825176412485504]
  従来,数式表現の2次木構造を考慮に入れたモデルでは,性能が向上した。 本稿では、出力構造を統一するために、任意のM枝(M-tree)を持つ木を適用した構造統一M-Tree符号化(S-UMCr)を提案する。 広く使われているMAWPSとMath23Kデータセットの実験結果は、SUMC-rが複数の最先端モデルを上回るだけでなく、低リソース条件下でもはるかに優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-10-22T12:20:36Z)
• Linear TreeShap [16.246232737115218]
  決定木は解釈容易性から有名である。 精度を向上させるには、深い木や木々のアンサンブルを育てなければならない。 本稿では,より効率的かつ簡単なアルゴリズムであるリニアツリーサップを提案する。
  論文  参考訳（メタデータ） (2022-09-16T23:17:15Z)
• Hierarchical Shrinkage: improving the accuracy and interpretability of tree-based methods [10.289846887751079]
  木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。 HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。 すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
  論文  参考訳（メタデータ） (2022-02-02T02:43:23Z)
• Tree in Tree: from Decision Trees to Decision Graphs [2.2336243882030025]
  Tree in Tree decision graph (TnT)は、従来の決定木をより汎用的で強力な非巡回グラフに拡張するフレームワークである。 提案するモデルは,広く用いられている決定木に代わる,新しい,より効率的かつ正確な代替手段である。
  論文  参考訳（メタデータ） (2021-10-01T13:20:05Z)
• A Neural Tangent Kernel Perspective of Infinite Tree Ensembles [8.020742121274417]
  本稿では,ソフトツリーの無限アンサンブルの挙動に関する新たな知見を提供する,TNTK(Tree Neural Tangent Kernel)を紹介し,研究する。 本研究は, 樹木の深化によって引き起こされる, 希薄な木構造の影響やTNTKの退化など, いくつかの非自明な性質を見出した。
  論文  参考訳（メタデータ） (2021-09-10T16:48:24Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• Please Mind the Root: Decoding Arborescences for Dependency Parsing [67.71280539312536]
  我々はUniversal Dependency Treebankから多くの言語における最先端の出力を分析する。 最悪の制約違反率は24%です。
  論文  参考訳（メタデータ） (2020-10-06T08:31:14Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。