論文の概要: Learning Representations for Axis-Aligned Decision Forests through Input Perturbation

• arxiv url: http://arxiv.org/abs/2007.14761v2
• Date: Mon, 21 Sep 2020 16:37:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 19:43:27.321437
• Title: Learning Representations for Axis-Aligned Decision Forests through Input Perturbation
• Title（参考訳）: 入力摂動による軸方向決定森林の学習表現
• Authors: Sebastian Bruch, Jan Pfeifer, Mathieu Guillame-bert
• Abstract要約: 軸に整合した意思決定の森は、長い間機械学習アルゴリズムの主要なクラスでした。 広く使われていることと豊富な歴史にもかかわらず、現在の決定林は生の構造化データを消費することができない。 本稿では,意思決定林の表現学習を実現するための新しい,直感的な提案を提案する。
• 参考スコア（独自算出の注目度）: 2.755007887718791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Axis-aligned decision forests have long been the leading class of machine learning algorithms for modeling tabular data. In many applications of machine learning such as learning-to-rank, decision forests deliver remarkable performance. They also possess other coveted characteristics such as interpretability. Despite their widespread use and rich history, decision forests to date fail to consume raw structured data such as text, or learn effective representations for them, a factor behind the success of deep neural networks in recent years. While there exist methods that construct smoothed decision forests to achieve representation learning, the resulting models are decision forests in name only: They are no longer axis-aligned, use stochastic decisions, or are not interpretable. Furthermore, none of the existing methods are appropriate for problems that require a Transfer Learning treatment. In this work, we present a novel but intuitive proposal to achieve representation learning for decision forests without imposing new restrictions or necessitating structural changes. Our model is simply a decision forest, possibly trained using any forest learning algorithm, atop a deep neural network. By approximating the gradients of the decision forest through input perturbation, a purely analytical procedure, the decision forest directs the neural network to learn or fine-tune representations. Our framework has the advantage that it is applicable to any arbitrary decision forest and that it allows the use of arbitrary deep neural networks for representation learning. We demonstrate the feasibility and effectiveness of our proposal through experiments on synthetic and benchmark classification datasets.
• Abstract（参考訳）: 軸整合決定林は、長年、表データのモデリングのための機械学習アルゴリズムの主要なクラスであった。 学習からランクへの学習のような機械学習の多くの応用において、決定の森は素晴らしいパフォーマンスをもたらす。 また、解釈可能性などの他の包括的特徴も持っている。 広く使われていることと豊富な歴史にもかかわらず、決定林はテキストのような生の構造化データを消費したり、効果的な表現を学ぶことができず、近年のディープニューラルネットワークの成功の要因となっている。 表現学習を達成するために、滑らかな決定の森を構築する方法が存在するが、結果として得られたモデルは、名前だけで決定の森である:それらはもはや軸に並ぶものではなく、確率的決定を用いるか、解釈できない。 さらに、既存の手法は、トランスファーラーニング処理を必要とする問題には適していない。 本稿では,新しい制約を課したり,構造変化を必要とせずに,意思決定森林の表現学習を実現するための,新規かつ直感的な提案を提案する。 我々のモデルは単に決定の森であり、ディープニューラルネットワークの上に、あらゆる森林学習アルゴリズムを使って訓練されている可能性がある。 純粋に解析的な手順である入力摂動を通じて決定森林の勾配を近似することにより、決定森林はニューラルネットワークに学習または微調整表現を指示する。 我々のフレームワークは任意の決定森林に適用可能であり、任意のディープニューラルネットワークを表現学習に利用できるという利点がある。 合成およびベンチマーク分類データセットの実験を通じて提案手法の有効性と有効性を示す。

関連論文リスト

• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• SONG: Self-Organizing Neural Graphs [10.253870280561609]
  決定木は二分決定に基づいており、決定を素早くし、クラス階層を提供するため、容易に解釈できる。 決定木がよく知られた欠点の1つは、決定木が決定ノードを再利用できないことである。 本稿では、マルコフ過程に基づく一般的なパラダイムを提供する。これは、自己組織化ニューラルネットワーク(SONG)と呼ばれる特殊なタイプの決定グラフの効率的なトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-07-28T07:53:53Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Making CNNs Interpretable by Building Dynamic Sequential Decision Forests with Top-down Hierarchy Learning [62.82046926149371]
  本稿では,CNN(Convlutional Neural Networks)を解釈可能なモデル転送方式を提案する。 我々は、CNNの上に微分可能な意思決定林を構築することで、これを実現する。 DDSDF(Dep Dynamic Sequential Decision Forest)と命名する。
  論文  参考訳（メタデータ） (2021-06-05T07:41:18Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• An Approach to Evaluating Learning Algorithms for Decision Trees [3.7798600249187295]
  低あるいは未知の学習能力アルゴリズムは、生成したソフトウェアモデルを信頼できない。 決定木に対する学習アルゴリズム(学習能力)を評価するための,新しいオラクル中心のアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-26T15:36:59Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)
• Neural Random Forest Imitation [24.02961053662835]
  我々は、ランダムな森林からトレーニングデータを生成し、その振る舞いを模倣するニューラルネットワークを学習することで、模倣学習アプローチを導入する。 この暗黙的な変換は、ランダムな森林の決定境界を学習する非常に効率的なニューラルネットワークを生成する。 いくつかの実世界のベンチマークデータセットの実験は、優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2019-11-25T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。