論文の概要: Improve Deep Forest with Learnable Layerwise Augmentation Policy Schedule

• arxiv url: http://arxiv.org/abs/2309.09030v1
• Date: Sat, 16 Sep 2023 15:54:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 17:53:25.626713
• Title: Improve Deep Forest with Learnable Layerwise Augmentation Policy Schedule
• Title（参考訳）: 階層化政策計画による深い森林の改善
• Authors: Hongyu Zhu, Sichu Liang, Wentao Hu, Fang-Qi Li, Yali yuan, Shi-Lin Wang, Guang Cheng
• Abstract要約: 本稿では,学習可能な階層的なデータ拡張ポリシを特徴とする最適化されたDeep Forestを提案する。 オーバフィッティングを緩和し,各層に対して拡張強度を調整するための集団探索アルゴリズムを開発するために,タブラルデータ用カットミックス(CMT)拡張技術を導入する。 実験の結果,本手法は様々な分類タスクに新たなSOTA(State-of-the-art)ベンチマークを設定し,浅い樹木のアンサンブル,深い森林,ディープニューラルネットワーク,AutoMLコンペティターを上回る結果を得た。
• 参考スコア（独自算出の注目度）: 22.968268349995853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a modern ensemble technique, Deep Forest (DF) employs a cascading structure to construct deep models, providing stronger representational power compared to traditional decision forests. However, its greedy multi-layer learning procedure is prone to overfitting, limiting model effectiveness and generalizability. This paper presents an optimized Deep Forest, featuring learnable, layerwise data augmentation policy schedules. Specifically, We introduce the Cut Mix for Tabular data (CMT) augmentation technique to mitigate overfitting and develop a population-based search algorithm to tailor augmentation intensity for each layer. Additionally, we propose to incorporate outputs from intermediate layers into a checkpoint ensemble for more stable performance. Experimental results show that our method sets new state-of-the-art (SOTA) benchmarks in various tabular classification tasks, outperforming shallow tree ensembles, deep forests, deep neural network, and AutoML competitors. The learned policies also transfer effectively to Deep Forest variants, underscoring its potential for enhancing non-differentiable deep learning modules in tabular signal processing.
• Abstract（参考訳）: 現代のアンサンブル技法として、ディープフォレスト (DF) は、伝統的な決定林に比べて表現力の強い深層モデルを構築するためにカスケード構造を採用している。 しかし,その多層学習手法は,モデルの有効性や一般化可能性の制限,過度に適合する傾向にある。 本稿では,学習可能な階層的データ拡張ポリシースケジュールを特徴とする,ディープフォレストを最適化した。 具体的には,過剰フィッティングを緩和するための表データ拡張のためのカットミックス(cmt)手法を導入し,各層に拡張強度を付与する集団探索アルゴリズムを開発した。 さらに,中間層からの出力をチェックポイントアンサンブルに組み込んで,より安定した性能を実現することを提案する。 実験結果から,本手法は,表層分類タスクに新たなSOTA(State-of-the-art)ベンチマークを設定し,浅い樹木アンサンブル,深い森林,ディープニューラルネットワーク,AutoMLコンペティタを上回る結果を得た。 学習したポリシーはディープフォレストにも効果的に移行し、表状信号処理における非微分型ディープラーニングモジュールの拡張の可能性を強調している。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• ForensicsForest Family: A Series of Multi-scale Hierarchical Cascade Forests for Detecting GAN-generated Faces [53.739014757621376]
  我々は,GAN生成顔を検出するために,EmforensicsForest Familyと呼ばれる簡易かつ効果的な森林法について述べる。 ForenscisForestは、新しく提案された多層階層のカスケード林である。 Hybrid ForensicsForestはCNNレイヤをモデルに統合する。 Divide-and-Conquer ForensicsForestは、トレーニングサンプリングの一部のみを使用して、森林モデルを構築することができる。
  論文  参考訳（メタデータ） (2023-08-02T06:41:19Z)
• Interpreting Deep Forest through Feature Contribution and MDI Feature Importance [6.475147482292634]
  ディープ・フォレストは微分不可能なディープ・モデルであり、様々な応用において印象的な経験的成功を収めた。 アプリケーションフィールドの多くは、各予測に局所的な説明を提供するような特徴のあるランダムフォレストのような説明可能なモデルを好む。 我々は,森林深度に対する特徴貢献とMDI特徴重要度算出ツールを提案する。
  論文  参考訳（メタデータ） (2023-05-01T13:10:24Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Residual Likelihood Forests [19.97069303172077]
  本稿では,Residual Likelihood Forests(RLF)と呼ばれる新たなアンサンブル学習手法を提案する。 我々の弱い学習者は、過去の学習者の文脈でグローバルな損失を用いて逐次最適化された条件付き確率を生成する。 Random Forests や Gradient Boosted Trees など,いくつかのアンサンブルアプローチと比較すると,RDF のパフォーマンスは大幅に向上している。
  論文  参考訳（メタデータ） (2020-11-04T00:59:41Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Streaming Active Deep Forest for Evolving Data Stream Classification [9.273077240506016]
  ストリームディープフォレスト(Streaming Deep Forest, SDF)は、特にストリーム分類に適応した高性能なディープアンサンブル法である。 また、ストリーミング環境におけるラベリングコストを低減するために、Augmented Variable Uncertainty (AVU) 能動学習戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-26T22:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。