論文の概要: Adaptive Tabu Dropout for Regularization of Deep Neural Network

• arxiv url: http://arxiv.org/abs/2501.00538v1
• Date: Tue, 31 Dec 2024 16:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:13:08.471676
• Title: Adaptive Tabu Dropout for Regularization of Deep Neural Network
• Title（参考訳）: 深部ニューラルネットワークの正規化のための適応型タブドロップアウト
• Authors: Md. Tarek Hasan, Arifa Akter, Mohammad Nazmush Shamael, Md Al Emran Hossain, H. M. Mutasim Billah, Sumayra Islam, Swakkhar Shatabda,
• Abstract要約: ドロップアウトはディープニューラルネットワークの正規化に有効な戦略である。 本稿では,深層ニューラルネットワークのトレーニングのためのタブドロップアウト機構を改良する。
• 参考スコア（独自算出の注目度）: 1.083674643223243
• License:
• Abstract: Dropout is an effective strategy for the regularization of deep neural networks. Applying tabu to the units that have been dropped in the recent epoch and retaining them for training ensures diversification in dropout. In this paper, we improve the Tabu Dropout mechanism for training deep neural networks in two ways. Firstly, we propose to use tabu tenure, or the number of epochs a particular unit will not be dropped. Different tabu tenures provide diversification to boost the training of deep neural networks based on the search landscape. Secondly, we propose an adaptive tabu algorithm that automatically selects the tabu tenure based on the training performances through epochs. On several standard benchmark datasets, the experimental results show that the adaptive tabu dropout and tabu tenure dropout diversify and perform significantly better compared to the standard dropout and basic tabu dropout mechanisms.
• Abstract（参考訳）: ドロップアウトはディープニューラルネットワークの正規化に有効な戦略である。 タブを最近の時代においてドロップアウトしたユニットに適用し、トレーニングのためにタブを保持すれば、ドロップアウトの多様化が保証される。 本稿では,深層ニューラルネットワークのトレーニングのためのタブドロップアウト機構を2つの方法で改善する。 まず,タブの在任を推奨するが,特定の単位のエポック数が減少しない。 異なるタブの在任期間は、検索ランドスケープに基づいたディープニューラルネットワークのトレーニングを強化するための多様化を提供する。 第2に,エポックを通したトレーニングパフォーマンスに基づいて,適応的タトゥーアルゴリズムを提案する。 いくつかの標準ベンチマークデータセットにおいて,適応型タブードロップアウトとタブーテチュールドロップアウトは,標準のタブードロップアウトと基本のタブードロップアウト機構と比較して,多種多様であり,性能が著しく向上することを示した。

関連論文リスト

• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
  本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。 提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。 我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-11-07T13:52:35Z)
• Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
  トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。 本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。 トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
  論文  参考訳（メタデータ） (2023-10-23T17:53:09Z)
• Interpretable Mesomorphic Networks for Tabular Data [25.76214343259399]
  我々は,深度と線形性の両方を同時に備えた,解釈可能なニューラルネットワークの新たなクラスを提案する。 我々は、ディープ・ハイパーネットワークを最適化し、インスタンス毎に説明可能な線形モデルを生成する。
  論文  参考訳（メタデータ） (2023-05-22T14:41:17Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• The Yin-Yang dataset [0.0]
  Yin-Yangデータセットは、スパイキングニューラルネットワークにおける生物学的に妥当なエラーバックプロパゲーションとディープラーニングの研究のために開発された。 これは、いくつかの利点を提供することで、古典的なディープラーニングデータセットに代わる役割を果たします。
  論文  参考訳（メタデータ） (2021-02-16T15:18:05Z)
• MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values [0.0]
  MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。 我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
  論文  参考訳（メタデータ） (2020-07-27T17:55:54Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。