論文の概要: Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity

• arxiv url: http://arxiv.org/abs/2012.14878v1
• Date: Tue, 29 Dec 2020 18:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 23:52:27.941521
• Title: Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity
• Title（参考訳）: ソフトルーティングと学習接続性に優れた深い森林の育成
• Authors: Jianghao Shen, Sicheng Wang, Zhangyang Wang
• Abstract要約: この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
• 参考スコア（独自算出の注目度）: 79.83903179393164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the latest prevailing success of deep neural networks (DNNs), several concerns have been raised against their usage, including the lack of intepretability the gap between DNNs and other well-established machine learning models, and the growingly expensive computational costs. A number of recent works [1], [2], [3] explored the alternative to sequentially stacking decision tree/random forest building blocks in a purely feed-forward way, with no need of back propagation. Since decision trees enjoy inherent reasoning transparency, such deep forest models can also facilitate the understanding of the internaldecision making process. This paper further extends the deep forest idea in several important aspects. Firstly, we employ a probabilistic tree whose nodes make probabilistic routing decisions, a.k.a., soft routing, rather than hard binary decisions.Besides enhancing the flexibility, it also enables non-greedy optimization for each tree. Second, we propose an innovative topology learning strategy: every node in the ree now maintains a new learnable hyperparameter indicating the probability that it will be a leaf node. In that way, the tree will jointly optimize both its parameters and the tree topology during training. Experiments on the MNIST dataset demonstrate that our empowered deep forests can achieve better or comparable performance than [1],[3] , with dramatically reduced model complexity. For example,our model with only 1 layer of 15 trees can perform comparably with the model in [3] with 2 layers of 2000 trees each.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)が最近普及したにも拘わらず、DNNと他の確立された機械学習モデルとのギャップの非解釈性の欠如や、高価な計算コストの増加など、その使用に対する懸念が高まっている。 多くの最近の研究 [1], [2], [3] は、バック伝搬を必要とせず、純粋にフィードフォワードの方法で決定木/ランダムな森林ブロックを逐次積み重ねる方法を探った。 決定木は固有の推論の透明性を享受するため、深い森林モデルもまた内部決定プロセスの理解を促進することができる。 本稿では,いくつかの重要な側面において,深い森林概念をさらに拡張する。 まず,ノードがハードバイナリ決定ではなく,あるいはソフトルーティングという,確率的ルーティング決定を行う確率的木を採用する。柔軟性の向上に加えて,各ツリーに対する非欲な最適化も可能にする。 第二に、リーのすべてのノードは、葉ノードとなる確率を示す新しい学習可能なハイパーパラメータを維持できる、革新的なトポロジー学習戦略を提案する。 このようにして、トレーニング中に、ツリーはパラメータとツリートポロジーの両方を共同で最適化する。 MNISTデータセットの実験により、我々の強化された深い森は[1],[3]よりも優れた、あるいは同等のパフォーマンスを達成でき、モデルの複雑さが劇的に減少することを示した。 例えば、15の木の1つの層しか持たないモデルでは、[3]のモデルと2000の木の2つの層で互換性を持って実行できる。

関連論文リスト

• Soft Hoeffding Tree: A Transparent and Differentiable Model on Data Streams [2.6524539020042663]
  Hoeffding Treeのようなストリームマイニングアルゴリズムは、入ってくるデータストリームに基づいて成長する。 我々は,データストリームを無限に変化させる可能性のある,新しい微分可能かつ透明なモデルとして,ソフトなHoeffding Tree (SoHoT)を提案する。
  論文  参考訳（メタデータ） (2024-11-07T15:49:53Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained Visual Categorization [56.37520969273242]
  細かな視覚分類のための新しいアプローチであるViTreeを紹介する。 ツリーパスをトラバースすることで、ViTreeは変換処理された機能からパッチを効果的に選択し、情報のあるローカルリージョンをハイライトする。 このパッチとパスの選択性は、ViTreeのモデルの解釈可能性を高め、モデルの内部動作に関するより良い洞察を可能にする。
  論文  参考訳（メタデータ） (2024-01-30T14:32:25Z)
• DeepTree: Modeling Trees with Situated Latents [8.372189962601073]
  そこで本研究では,木を手作業で定義するのではなく,分岐構造に対する発達規則を学習する手法を提案する。 我々は、その振る舞いが本質的な状態によって決定されるため、潜伏状態にあるディープニューラルモデル(deep Neural model)と呼ぶ。 本手法では,複雑なパラメータを定義することなく,多様な木形を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T03:33:14Z)
• ForestPrune: Compact Depth-Controlled Tree Ensembles [7.538482310185135]
  我々は,個々の木から深度層を刈り取ることで,木アンサンブルを後処理する新しいフレームワークであるフォレストプルーを紹介する。 本研究では,フォレストプルーネにおける問題に対する高品質な解を効率的に得るための最適化アルゴリズムを開発した。 実験により、フォレストプルーンは既存の後処理アルゴリズムによって抽出されたモデルより優れたパシモニアスモデルを生成することを示した。
  論文  参考訳（メタデータ） (2022-05-31T22:04:18Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Making CNNs Interpretable by Building Dynamic Sequential Decision Forests with Top-down Hierarchy Learning [62.82046926149371]
  本稿では,CNN(Convlutional Neural Networks)を解釈可能なモデル転送方式を提案する。 我々は、CNNの上に微分可能な意思決定林を構築することで、これを実現する。 DDSDF(Dep Dynamic Sequential Decision Forest)と命名する。
  論文  参考訳（メタデータ） (2021-06-05T07:41:18Z)
• Dive into Decision Trees and Forests: A Theoretical Demonstration [0.0]
  決定木は"divide-and-conquer"の戦略を使用して、入力機能とラベル間の依存性に関する複雑な問題を小さなものに分割します。 近年, 計算広告, 推薦システム, 情報検索などの性能が大幅に向上している。
  論文  参考訳（メタデータ） (2021-01-20T16:47:59Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• The Tree Ensemble Layer: Differentiability meets Conditional Computation [8.40843862024745]
  我々は、異なる決定木(ソフトツリー)のアンサンブルからなるニューラルネットワークのための新しいレイヤを導入する。 異なる木は文学において有望な結果を示すが、典型的には条件計算をサポートしないため、訓練と推論が遅い。 我々は、空間性を利用する特殊前方及び後方伝播アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-02-18T18:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。