Fugu-MT 論文翻訳(概要): LoMETab: Beyond Rank-1 Ensembles for Tabular Deep Learning

論文の概要: LoMETab: Beyond Rank-1 Ensembles for Tabular Deep Learning

arxiv url: http://arxiv.org/abs/2605.14365v1
Date: Thu, 14 May 2026 04:47:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-15 21:45:34.623973
Title: LoMETab: Beyond Rank-1 Ensembles for Tabular Deep Learning
Title（参考訳）: LoMETab: タブラル深層学習のためのランク1のアンサンブルを超えて
Authors: Changryeol Choi, Hyewon Park, Yujin Kwon, Gowun Jeong,
Abstract要約: 我々は、乗法的暗黙のアンサンブルのランク-$r$の一般化であるLoMETabを提案する。 LoMETabはランク-1のBatchEnsemble/TabM変調をランク-r$のID-Residual Adamardファミリーに引き上げる。実験により,この付加能力はトレーニング後の測定可能な予測多様性として現れることが示された。
参考スコア（独自算出の注目度）: 0.2999888908665658
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent tabular learning benchmarks increasingly show a tight performance cluster rather than a clear hierarchy among leading methods, spanning gradient boosted decision trees, attention-based architectures, and implicit ensembles such as TabM. As benchmark gains plateau, a complementary goal is to understand and control the mechanisms that make simple neural tabular models competitive. We propose LoMETab, a rank-$r$ generalization of multiplicative implicit ensembles. LoMETab lifts the rank-1 BatchEnsemble/TabM modulation to a rank-$r$ identity-residual Hadamard family by parameterizing each member weight as $W_k = W \odot (1 + A_kB_k^\top)$, where $W$ is shared and $(A_k, B_k)$ are member-specific low-rank factors. This exposes two practical diversity-control axes: the adapter rank $r$ and the initialization scale $σ_{\mathrm{init}}$, and we prove that for $r \ge 2$ this generalization strictly enlarges BatchEnsemble's hypothesis class. Empirically, we show that this added capacity manifests as measurable predictive diversity after training: on representative classification datasets, LoMETab sustains higher pairwise KL than an additive low-rank ablation, and $(r, σ_{\mathrm{init}})$ provides broad control over pairwise KL, varying by up to several orders of magnitude across configurations. The induced diversity is reflected in task-appropriate output-level measures: argmax disagreement for classification and ambiguity for regression, indicating that the control extends beyond pairwise KL to decision- and output-level member variation. Finally, experiments sweeping over adapter rank $r$ and initialization scale $σ_{\mathrm{init}}$ reveal that predictive performance is dataset-dependent over the $(r, σ_{\mathrm{init}})$ grid, supporting LoMETab as a controllable family of implicit ensembles rather than a fixed rank-1 construction.
Abstract（参考訳）: 最近の表形式の学習ベンチマークでは、主要なメソッド間の明確な階層ではなく、決定木、注意に基づくアーキテクチャ、TabMのような暗黙のアンサンブルにまたがるパフォーマンスクラスタが強まっている。ベンチマークの質が向上するにつれて、補完的な目標は、単純な神経グラフモデルと競合するメカニズムを理解し、制御することである。我々は、乗法的暗黙のアンサンブルのランク-$r$の一般化であるLoMETabを提案する。 LoMETabは、ランク-1のBatchEnsemble/TabM変調をランク-r$のID-Residual Hadamardファミリーに引き上げ、各メンバーの重量を$W_k = W \odot (1 + A_kB_k^\top)$にパラメータ化する。アダプタ階数 $r$ と初期化スケール $σ_{\mathrm{init}}$ である。代表的な分類データセットでは、LoMETabは付加的な低ランクアブレーションよりも高いペアワイドKLを維持でき、$(r, σ_{\mathrm{init}})$は、構成によって最大数桁まで異なるペアワイドKLを広範囲に制御できる。帰納的多様性は、タスクに適した出力レベル尺度に反映される: argmax disagreement for classification and ambiguity for regression, これは、制御がペアワイドKLを超えて、決定レベルと出力レベルのメンバのばらつきに広がることを示している。最後に、アダプタの階数$r$と初期化スケール$σ_{\mathrm{init}}$での実験では、予測性能が$(r, σ_{\mathrm{init}})$ grid上でデータセット依存であることを明らかにし、固定階数-1構造ではなく暗黙のアンサンブルのコントロール可能なファミリとしてLoMETabをサポートする。

論文の概要: LoMETab: Beyond Rank-1 Ensembles for Tabular Deep Learning

関連論文リスト