論文の概要: Under the Hood of Tabular Data Generation Models: the Strong Impact of Hyperparameter Tuning
- arxiv url: http://arxiv.org/abs/2406.12945v2
- Date: Fri, 12 Jul 2024 07:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 04:18:12.362420
- Title: Under the Hood of Tabular Data Generation Models: the Strong Impact of Hyperparameter Tuning
- Title（参考訳）: タブラルデータ生成モデルのフッド下:ハイパーパラメータチューニングの強い影響
- Authors: G. Charbel N. Kindji, Lina Maria Rojas-Barahona, Elisa Fromont, Tanguy Urvoy,
- Abstract要約: 本研究では,モデル統合評価の実践的ニーズに対処する。
高速な最適化を実現するために,各モデルに対する探索空間の削減を提案する。
ほとんどのモデルでは、データセット固有の大規模チューニングによって、オリジナルの構成よりもパフォーマンスが大幅に向上する。
- 参考スコア（独自算出の注目度）: 2.5168710814072894
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the impact of dataset-specific hyperparameter, feature encoding, and architecture tuning on five recent model families for tabular data generation through an extensive benchmark on 16 datasets. This study addresses the practical need for a unified evaluation of models that fully considers hyperparameter optimization. Additionally, we propose a reduced search space for each model that allows for quick optimization, achieving nearly equivalent performance at a significantly lower cost.Our benchmark demonstrates that, for most models, large-scale dataset-specific tuning substantially improves performance compared to the original configurations. Furthermore, we confirm that diffusion-based models generally outperform other models on tabular data. However, this advantage is not significant when the entire tuning and training process is restricted to the same GPU budget for all models.
- Abstract（参考訳）: グラフデータ生成のための最近の5つのモデルファミリに対する,データセット固有のハイパーパラメータ,特徴符号化,アーキテクチャチューニングの影響を,16データセットの広範なベンチマークを用いて検討した。
本研究は、ハイパーパラメータ最適化を完全に考慮したモデルの統一評価の実践的必要性に対処する。
さらに,各モデルに対して,高速な最適化を実現し,ほぼ同等の性能を極めて低いコストで達成する検索スペースの削減を提案し,我々のベンチマークでは,ほとんどのモデルにおいて,大規模データセット特化チューニングが元の構成よりも大幅に性能を向上することを示した。
さらに,拡散モデルが表データ上で他のモデルを上回ることが確認された。
しかし、チューニングとトレーニングプロセス全体がすべてのモデルで同じGPU予算に制限されている場合、この利点は重要ではない。
関連論文リスト
- Crafting Efficient Fine-Tuning Strategies for Large Language Models [2.633490094119608]
200サンプル未満の細調整された大型言語モデル(LLM)は、製品属性抽出タスクにおいて、モデル精度を70%から88%に向上させることができる。
トレーニング時間全体の20%のモデルを評価するベイズハイパーパラメータ最適化法は,最終的なモデル性能と強く相関する。
このアプローチにより、独立したテストセットで評価すると、ベースラインモデルよりも精度が2%向上した。
論文 参考訳（メタデータ） (2024-07-18T21:36:00Z) - Functional Graphical Models: Structure Enables Offline Data-Driven
Optimization [121.57202302457135]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework
for Enhancing Model Performance and Efficiency [9.460023981858319]
本稿では,AdaPruner と呼ばれる適応型 DAtaset PRUNing フレームワークを提案する。
AdaPrunerは、冗長なサンプルを期待プルーニング比率に反復的にプルークする。
トレーニングデータの最大10～30%をプルーニングしても、モデルパフォーマンスを著しく向上させることができる。
論文 参考訳（メタデータ） (2023-12-09T16:01:21Z) - Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。
公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
論文 参考訳（メタデータ） (2023-10-18T17:56:24Z) - Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。
本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。
得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
論文 参考訳（メタデータ） (2023-06-06T16:15:26Z) - Prototypical Fine-tuning: Towards Robust Performance Under Varying Data
Sizes [47.880781811936345]
我々は、微調整事前学習言語モデル(LM)のための新しいフレームワークを提案する。
提案手法は,データポイント数やモデル固有の属性に応じて,モデルキャパシティを自動的に調整することができる。
論文 参考訳（メタデータ） (2022-11-24T14:38:08Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - A Simple and Fast Baseline for Tuning Large XGBoost Models [8.203493207581937]
均一なサブサンプリングによって,大規模なXGBoostモデルのチューニングを高速化する,シンプルかつ高速なベースラインが得られることを示す。
このベースラインが15～70mathrmGBの大規模データセットに対して有効であることを示す。
論文 参考訳（メタデータ） (2021-11-12T20:17:50Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。