論文の概要: Benchmarking Optimizers for MLPs in Tabular Deep Learning

• arxiv url: http://arxiv.org/abs/2604.15297v2
• Date: Fri, 17 Apr 2026 17:48:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 13:38:49.473326
• Title: Benchmarking Optimizers for MLPs in Tabular Deep Learning
• Title（参考訳）: タブラル深層学習におけるMLPのベンチマーク最適化
• Authors: Yury Gorishniy, Ivan Rubachev, Dmitrii Feoktistov, Artem Babenko,
• Abstract要約: AdamWは、表層深層学習モデルのトレーニングテクニックである。 標準教師付き学習環境において、トレーニングベースモデルのための17のデータセットに15のテクニックをベンチマークする。 私たちの主な発見は、ムーンが一貫してAdamWより優れており、それゆえ、実践者や研究者にとって強力で実践的な選択と見なされるべきである、ということです。
• 参考スコア（独自算出の注目度）: 26.245361419936135
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: MLP is a heavily used backbone in modern deep learning (DL) architectures for supervised learning on tabular data, and AdamW is the go-to optimizer used to train tabular DL models. Unlike architecture design, however, the choice of optimizer for tabular DL has not been examined systematically, despite new optimizers showing promise in other domains. To fill this gap, we benchmark 15 optimizers on 17 tabular datasets for training MLP-based models in the standard supervised learning setting under a shared experiment protocol. Our main finding is that the Muon optimizer consistently outperforms AdamW, and thus should be considered a strong and practical choice for practitioners and researchers, if the associated training efficiency overhead is affordable. Additionally, we find exponential moving average of model weights to be a simple yet effective technique that improves AdamW on vanilla MLPs, though its effect is less consistent across model variants.
• Abstract（参考訳）: MLPは、表型データに対する教師あり学習のために、現代のディープラーニング(DL)アーキテクチャでよく使われるバックボーンであり、AdamWは表型DLモデルのトレーニングに使用されるゴーツーオプティマイザである。 しかし、アーキテクチャ設計とは異なり、他のドメインで約束されている新しいオプティマイザにもかかわらず、表型DLのオプティマイザの選択は体系的に検討されていない。 このギャップを埋めるために、共有実験プロトコルの下で標準教師付き学習環境において、MPPベースのモデルをトレーニングするための17の表付きデータセットの15の最適化をベンチマークした。 私たちの主な発見は、MuonオプティマイザがAdamWより一貫して優れており、関連するトレーニング効率のオーバーヘッドが安価であれば、実践者や研究者にとって強力で実践的な選択であると考えるべきです。 さらに,モデル重みの指数的移動平均は,モデル不変量間では一貫性が低いものの,バニラMLP上でのAdamWを改善する単純かつ効果的な手法であることがわかった。

関連論文リスト

• iLTM: Integrated Large Tabular Model [41.81329403540607]
  iLTMは、木由来の埋め込み、次元に依存しない表現、メタトレーニングされたハイパーネットワーク、多層パーセプトロン、単一のアーキテクチャ内での検索を統一する統合された大型タブラルモデルである。
  論文  参考訳（メタデータ） (2025-11-20T00:20:16Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Shadow-FT: Tuning Instruct Model via Training on Paired Base Model [67.20706292627106]
  大規模言語モデル(LLM)は、様々なタスクのさらなる微調整の恩恵を一貫して受けている。 本稿では,対応するベースモデルを活用してインストラクタモデルをチューニングするための新しいシャドウ-FTフレームワークを提案する。 提案するShadow-FTは,追加パラメータを導入せず,実装が容易で,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2025-05-19T05:16:21Z)
• (GG) MoE vs. MLP on Tabular Data [0.0]
  GG MoE は,Gumbel-Softmax ゲーティング関数を組み込んだ実験用混合モデルである。 MoEとGG MoEはいずれも,ニューラルネットワークよりもはるかに少ないパラメータを生かしている。
  論文  参考訳（メタデータ） (2025-02-05T20:53:16Z)
• Adaptive Data Exploitation in Deep Reinforcement Learning [50.53705050673944]
  深層強化学習(RL)における**データ効率**と**一般化**を強化する強力なフレームワークであるADEPTを紹介する。 具体的には、ADEPTはマルチアーム・バンディット(MAB)アルゴリズムを用いて、異なる学習段階にわたるサンプルデータの使用を適応的に管理する。 Procgen、MiniGrid、PyBulletなどのベンチマークでADEPTをテストする。
  論文  参考訳（メタデータ） (2025-01-22T04:01:17Z)
• TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling [28.37672139176765]
  新しいモデルであるTabMはアンサンブルに依存しており、1つのTabMは効率よくアンサンブルを模倣し、オブジェクトごとに複数の予測を生成する。 TabMでは、基盤となる暗黙のトレーニングが同時に行われ、(デフォルトでは)パラメータの大部分を共有しているため、パフォーマンスと効率が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-31T17:58:41Z)
• Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback [64.67540769692074]
  人間のフィードバックからの強化学習など、アライメント技術で微調整された大規模言語モデル(LLM)は、これまでで最も有能なAIシステムの開発に役立っている。 マージンマッチング選好最適化(MMPO)と呼ばれる手法を導入し、相対的な品質マージンを最適化し、LLMポリシーと報酬モデルを改善する。 人間とAIの両方のフィードバックデータによる実験によると、MMPOはMT-benchやRewardBenchといった一般的なベンチマークにおいて、ベースラインメソッドよりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:56:11Z)
• Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback [110.16220825629749]
  嗜好フィードバックからの学習は、現代言語モデルの生成品質と性能を改善するための重要なステップとして現れてきた。 本研究では、嗜好データ、学習アルゴリズム、報酬モデル、政策訓練プロンプトという、嗜好に基づく学習の4つの側面を特定する。 以上の結果から,すべての側面がパフォーマンス上重要であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-13T16:17:21Z)
• Tabular Data: Is Deep Learning all you need? [21.994741050350132]
  タブラルデータは、応用機械学習において最も一般的なデータフォーマットの1つである。 ディープラーニングモデルは、既存の古典的アプローチと公正に比較できるような条件下での包括的な評価の対象にはなっていない。 我々の調査は、ニューラルネットワーク、古典的ML、AutoML技術にまたがる17の最先端の手法をベンチマークすることで、このギャップを埋める。
  論文  参考訳（メタデータ） (2024-02-06T12:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。