論文の概要: Better by Default: Strong Pre-Tuned MLPs and Boosted Trees on Tabular Data

• arxiv url: http://arxiv.org/abs/2407.04491v1
• Date: Fri, 5 Jul 2024 13:29:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 13:30:37.799051
• Title: Better by Default: Strong Pre-Tuned MLPs and Boosted Trees on Tabular Data
• Title（参考訳）: デフォルトによる改善: タブラルデータ上での強い事前調整されたMLPとブーストツリー
• Authors: David Holzmüller, Léo Grinsztajn, Ingo Steinwart,
• Abstract要約: 我々は,改良された多層パーセプトロン(MLP)であるRealMLPを導入し,GBDTとRealMLPのデフォルトパラメータを改善した。 ベンチマークの結果、RealMLPは他のニューラルネットよりも優れた時間精度のトレードオフを提供し、GBDTと競合することが示された。
• 参考スコア（独自算出の注目度）: 13.429541377715296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For classification and regression on tabular data, the dominance of gradient-boosted decision trees (GBDTs) has recently been challenged by often much slower deep learning methods with extensive hyperparameter tuning. We address this discrepancy by introducing (a) RealMLP, an improved multilayer perceptron (MLP), and (b) improved default parameters for GBDTs and RealMLP. We tune RealMLP and the default parameters on a meta-train benchmark with 71 classification and 47 regression datasets and compare them to hyperparameter-optimized versions on a disjoint meta-test benchmark with 48 classification and 42 regression datasets, as well as the GBDT-friendly benchmark by Grinsztajn et al. (2022). Our benchmark results show that RealMLP offers a better time-accuracy tradeoff than other neural nets and is competitive with GBDTs. Moreover, a combination of RealMLP and GBDTs with improved default parameters can achieve excellent results on medium-sized tabular datasets (1K--500K samples) without hyperparameter tuning.
• Abstract（参考訳）: 表形式のデータに対する分類と回帰に関して、勾配型決定木(GBDT)の優位性は、広範にハイパーパラメーターをチューニングしたより遅い深層学習手法によって最近問題視されている。 私たちはこの不一致に対処する。 (a)RealMLP、改良された多層パーセプトロン(MLP)および (b)GBDTとRealMLPのデフォルトパラメータを改善した。 71の分類と47の回帰データセットを持つメタトレインベンチマークのRealMLPとデフォルトパラメータを調整し、48の分類と42の回帰データセットを持つ非結合メタテストベンチマークのハイパーパラメータ最適化バージョンと、Grinsztajn氏らによるGBDTフレンドリなベンチマーク(2022年)と比較する。 ベンチマークの結果,RealMLPは他のニューラルネットよりも時間精度のトレードオフが優れ,GBDTと競合することがわかった。 さらに、RealMLPとGBDTの組み合わせによって、ハイパーパラメータチューニングなしで中規模の表型データセット(1K-500Kサンプル)において優れた結果が得られる。

関連論文リスト

• Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation [17.84857303452691]
  大規模言語モデル(LLM)は、その巨大なサイズのため、リソース集約性が高いため、微調整が可能である。 本稿では,評価器の分散を低減し,最終的なモデル出力の安定性を高めるために,低ランク微調整における効果的なパラメータ化の重要性を強調した。 提案手法はモンテカルロ推定法を用いて,低次パラメータの非バイアス後推定を低次分散で学習する手法である。
  論文  参考訳（メタデータ） (2024-11-07T01:31:48Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• ADMM Based Semi-Structured Pattern Pruning Framework For Transformer [4.02487511510606]
  本稿では,アクティベーションマップの分布を再構成する,ADMM(Alternating Direction Method of Multipliers)に基づくパターン解析フレームワークを提案する。 GLUEデータセット上の分類タスクについて広範な実験を行った。 GLUEデータセットの総合スコア80.1を維持しながら圧縮率50%を達成した。
  論文  参考訳（メタデータ） (2024-07-11T09:35:08Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Sparse Structure Search for Parameter-Efficient Tuning [85.49094523664428]
  S$3$PETは、トレーニング可能なパラメータの少ない手動およびランダムな構造を超えることを示す。 探索された構造は、0.01%のトレーニング可能なパラメータで99%以上の微調整性能を維持している。
  論文  参考訳（メタデータ） (2022-06-15T08:45:21Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Optimised one-class classification performance [4.894976692426517]
  SVM(Support Vector Machine)、NND(Nearest Neighbour Distance)、ALP(Average Localized Proximity)の3つのデータ記述子の最適化を扱う。 我々は,50個のデータセットから抽出した246個の分類問題を用いて,ハイパーパラメータ最適化の効果を実験的に評価した。
  論文  参考訳（メタデータ） (2021-02-04T14:08:20Z)
• Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation [22.064890647610348]
  本稿では,アクティベーションのメモリにおける近接するトークンのパラメータ化表現を用いたパラメータ化近傍メモリ適応(PNMA)手法を提案する。 単語埋め込みの種類に関係なく,PNMAはベースモデルのSRL性能を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2020-11-29T22:51:25Z)
• Revisiting minimum description length complexity in overparameterized models [38.21167656112762]
  本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。 カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。 また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
  論文  参考訳（メタデータ） (2020-06-17T22:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。