論文の概要: A Neural Tangent Kernel Perspective of Infinite Tree Ensembles

• arxiv url: http://arxiv.org/abs/2109.04983v1
• Date: Fri, 10 Sep 2021 16:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:39:44.392348
• Title: A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
• Title（参考訳）: 無限木集合のニューラル・タンジェント・カーネル・パースペクティブ
• Authors: Ryuichi Kanoh, Mahito Sugiyama
• Abstract要約: 本稿では,ソフトツリーの無限アンサンブルの挙動に関する新たな知見を提供する,TNTK(Tree Neural Tangent Kernel)を紹介し,研究する。 本研究は, 樹木の深化によって引き起こされる, 希薄な木構造の影響やTNTKの退化など, いくつかの非自明な性質を見出した。
• 参考スコア（独自算出の注目度）: 8.020742121274417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practical situations, the ensemble tree model is one of the most popular models along with neural networks. A soft tree is one of the variants of a decision tree. Instead of using a greedy method for searching splitting rules, the soft tree is trained using a gradient method in which the whole splitting operation is formulated in a differentiable form. Although ensembles of such soft trees have been increasingly used in recent years, little theoretical work has been done for understanding their behavior. In this paper, by considering an ensemble of infinite soft trees, we introduce and study the Tree Neural Tangent Kernel (TNTK), which provides new insights into the behavior of the infinite ensemble of soft trees. Using the TNTK, we succeed in theoretically finding several non-trivial properties, such as the effect of the oblivious tree structure and the degeneracy of the TNTK induced by the deepening of the trees. Moreover, we empirically examine the performance of an ensemble of infinite soft trees using the TNTK.
• Abstract（参考訳）: 実際の状況では、アンサンブルツリーモデルはニューラルネットワークと共に最も人気のあるモデルの1つである。 ソフトツリーは決定木の変種の一つである。 分割ルールを探索するためにグリーディ法を用いる代わりに、分割操作全体を微分可能な形式で定式化する勾配法を用いてソフトツリーを訓練する。 このような柔らかい木のアンサンブルは近年ますます使われてきたが、彼らの行動を理解するための理論的な研究はほとんど行われていない。 本稿では,ソフトツリーの無限アンサンブルを考慮し,ソフトツリーの無限アンサンブルの挙動に関する新たな知見を提供するTNTK(Tree Neural Tangent Kernel)を紹介し,研究する。 TNTKを用いて, 樹木の深部化によって引き起こされる斜め木構造の影響やTNTKの退化など, いくつかの非自明な性質を理論的に発見することに成功した。 さらに,TNTKを用いた無限軟木のアンサンブルの性能を実験的に検討した。

関連論文リスト

• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained Visual Categorization [56.37520969273242]
  細かな視覚分類のための新しいアプローチであるViTreeを紹介する。 ツリーパスをトラバースすることで、ViTreeは変換処理された機能からパッチを効果的に選択し、情報のあるローカルリージョンをハイライトする。 このパッチとパスの選択性は、ViTreeのモデルの解釈可能性を高め、モデルの内部動作に関するより良い洞察を可能にする。
  論文  参考訳（メタデータ） (2024-01-30T14:32:25Z)
• DeepTree: Modeling Trees with Situated Latents [8.372189962601073]
  そこで本研究では,木を手作業で定義するのではなく,分岐構造に対する発達規則を学習する手法を提案する。 我々は、その振る舞いが本質的な状態によって決定されるため、潜伏状態にあるディープニューラルモデル(deep Neural model)と呼ぶ。 本手法では,複雑なパラメータを定義することなく,多様な木形を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T03:33:14Z)
• A Neural Tangent Kernel Formula for Ensembles of Soft Trees with Arbitrary Architectures [5.634825161148483]
  ソフトツリーは、勾配法を用いて分割規則を更新する決定ツリーの活発に研究された変種である。 任意の木構造に対してソフトツリーアンサンブルによって誘導されるニューラルカーネルタンジェント(NTK)を定式化し解析する。
  論文  参考訳（メタデータ） (2022-05-25T16:49:29Z)
• SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples [75.32013242448151]
  ノードからの観測が独立しているが非識別的に分散ノイズによって破損した場合、Ising Treeモデルの学習を検討する。 Katiyarら。 (2020) は, 正確な木構造は復元できないが, 部分木構造を復元できることを示した。 統計的に堅牢な部分木回復アルゴリズムであるSymmetrized Geometric Averaging(SGA)を提案する。
  論文  参考訳（メタデータ） (2021-01-22T01:57:35Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Born-Again Tree Ensembles [9.307453801175177]
  ツリーアンサンブルは、様々な領域で優れた予測品質を提供するが、複数のツリーの同時使用により、アンサンブルの解釈可能性が低下する。 本研究では,その特徴空間全体において,与えられたツリーのアンサンブルと全く同じ振る舞いを再現する,最小サイズの1つの決定木を構築する過程について検討する。 このアルゴリズムは、実践的な関心のある多くのデータセットに対して最適な生長木を生成する。
  論文  参考訳（メタデータ） (2020-03-24T22:17:21Z)
• The Tree Ensemble Layer: Differentiability meets Conditional Computation [8.40843862024745]
  我々は、異なる決定木(ソフトツリー)のアンサンブルからなるニューラルネットワークのための新しいレイヤを導入する。 異なる木は文学において有望な結果を示すが、典型的には条件計算をサポートしないため、訓練と推論が遅い。 我々は、空間性を利用する特殊前方及び後方伝播アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-02-18T18:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。