論文の概要: TabPack: Efficient Hyperparameter Ensembles for Tabular Deep Learning
- arxiv url: http://arxiv.org/abs/2607.05380v1
- Date: Mon, 06 Jul 2026 17:55:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.272599
- Title: TabPack: Efficient Hyperparameter Ensembles for Tabular Deep Learning
- Title（参考訳）: TabPack: タブラルディープラーニングのための効率的なハイパーパラメータアンサンブル
- Abstract要約: 我々はTabPackを紹介した。これは強力なアウトオブボックス性能と従来のチューニングへの依存度を低減した効率的なアンサンブルである。
中から大規模のパブリックデータセットの実験では、デフォルト設定のTabPackは、広範囲に調整されたメソッドと同等に実行される。
- 参考スコア（独自算出の注目度）: 29.039257956873417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In deep learning for tabular data, efficient ensembles of multilayer perceptrons (MLPs) have recently emerged as effective and practical architectures. Existing methods of this kind use the same hyperparameters for all underlying MLPs, which requires hyperparameter tuning for achieving the best performance. In this work, we introduce TabPack, an efficient MLP ensemble with strong out-of-the-box performance and reduced reliance on traditional tuning. In a single run, TabPack samples and trains many MLPs with different hyperparameters efficiently in parallel and selects ensemble members on the fly during training. Thus, TabPack only requires specifying ranges from which to sample MLP hyperparameter rather than exact hyperparameter values, which naturally demands less precision for good performance. In experiments on medium-to-large public datasets, TabPack with default settings performs on par with extensively tuned prior methods, thus substantially reducing effort and compute resources needed to achieve competitive results on tabular tasks. Notably, running the default TabPack configuration on a modern MacBook took less time than tuning some baselines on an industry-grade GPU.
- Abstract（参考訳）: 近年,表計算データの深層学習において,多層パーセプトロン(MLP)の効率的なアンサンブルが,効果的かつ実用的なアーキテクチャとして出現している。
既存の手法では、全ての基礎となるMPPに対して同じハイパーパラメータを使用しており、最高のパフォーマンスを達成するにはハイパーパラメータチューニングが必要である。
本研究では,TabPackについて紹介する。TabPackは高効率なMLPアンサンブルで,アウト・オブ・ザ・ボックス性能と従来のチューニングへの依存度を低減させる。
単一の実行でTabPackは、異なるハイパーパラメータを持つ多くのMDPを効率的にサンプリングし、トレーニング中にオンザフライでアンサンブルメンバーを選択する。
そのため、TabPackは、正確なハイパーパラメータ値ではなく、MLPハイパーパラメータをサンプリングする範囲を指定する必要がある。
中から大規模の公開データセットの実験では、デフォルト設定のTabPackは、広範囲に調整された事前メソッドと同等に実行されるため、表計算タスクの競合的な結果を達成するために必要な労力と計算リソースが大幅に削減される。
特に、最新のMacBookでデフォルトのTabPack設定を実行するのに、業界レベルのGPUでベースラインをチューニングするよりも時間がかかりました。
関連論文リスト
- TinyLLM: Evaluation and Optimization of Small Language Models for Agentic Tasks on Edge Devices [0.0]
本稿では,エージェントタスク(機能/ツール/API呼び出し)における小言語モデル(SLM)の有効性について検討する。
本稿では、教師付き微調整(SFT)、パラメータ効率の高い微調整(PEFT)、強化学習(RL)、ハイブリッド手法を含むパラメータ駆動最適化戦略について述べる。
その結果,中規模モデル(1-3Bパラメータ)がウルトラコンパクトモデル(1Bパラメータ)を大幅に上回るモデルスケール間での精度差が明らかとなった。
この研究は、エッジデバイス上で、小さな言語モデルが正確で効率的で安定したエージェントAIを提供できるようにするためのハイブリッド最適化戦略の重要性を強調した。
論文 参考訳（メタデータ） (2025-11-27T06:09:54Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling [28.37672139176765]
新しいモデルであるTabMはアンサンブルに依存しており、1つのTabMは効率よくアンサンブルを模倣し、オブジェクトごとに複数の予測を生成する。
TabMでは、基盤となる暗黙のトレーニングが同時に行われ、(デフォルトでは)パラメータの大部分を共有しているため、パフォーマンスと効率が大幅に向上する。
論文 参考訳（メタデータ） (2024-10-31T17:58:41Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。
特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文 参考訳（メタデータ） (2024-05-30T17:26:02Z) - Prototype-based HyperAdapter for Sample-Efficient Multi-task Tuning [30.251155072822055]
Prototype-based HyperAdapter (PHA)は、アダプタチューニングとハイパーネットワーク上に構築された新しいフレームワークである。
サンプル効率のよい条件付きモジュールを生成するために、インスタンスdenseレトリバーとプロトタイプのハイパーネットワークを導入する。
PHAは、トレーニング可能なパラメータ、ストリームタスクの精度、サンプル効率のトレードオフをより良くすることを示す。
論文 参考訳（メタデータ） (2023-10-18T02:42:17Z) - UniPT: Universal Parallel Tuning for Transfer Learning with Efficient
Parameter and Memory [69.33445217944029]
PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。
最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。
メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
論文 参考訳（メタデータ） (2023-08-28T05:38:43Z) - AutoPEFT: Automatic Configuration Search for Parameter-Efficient
Fine-Tuning [77.61565726647784]
ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。
本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
論文 参考訳（メタデータ） (2023-01-28T08:51:23Z) - Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
私たちはaを提案します。
Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。
多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
論文 参考訳（メタデータ） (2022-05-23T02:43:45Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳（メタデータ） (2022-05-11T17:10:41Z) - The GatedTabTransformer. An enhanced deep learning architecture for
tabular modeling [0.0]
そこで本研究では,従来のTabTransformerのバイナリ分類タスクの改良について述べる。
ゲートにインスパイアされた線形射影はブロック内に実装され、複数のアクティベーション関数がテストされる。
論文 参考訳（メタデータ） (2022-01-01T14:52:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。