論文の概要: LassoFlexNet: Flexible Neural Architecture for Tabular Data
- arxiv url: http://arxiv.org/abs/2603.20631v1
- Date: Sat, 21 Mar 2026 03:59:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.002919
- Title: LassoFlexNet: Flexible Neural Architecture for Tabular Data
- Title（参考訳）: LassoFlexNet: タブラルデータのための柔軟なニューラルネットワーク
- Authors: Kry Yik Chau Lui, Cheng Chi, Kishore Basu, Yanshuai Cao,
- Abstract要約: EmphLassoFlexNetは、Per-Feature Embeddingsを介して各入力の線形および非線形の限界寄与を評価するアーキテクチャである。
3つのベンチマークから52ドルを越え、LassoFlexNetは、主要なツリーベースのモデルにマッチするか、または性能を上回り、最大10ドル%の相対的な利益を達成している。
- 参考スコア（独自算出の注目度）: 15.932140218953817
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite their dominance in vision and language, deep neural networks often underperform relative to tree-based models on tabular data. To bridge this gap, we incorporate five key inductive biases into deep learning: robustness to irrelevant features, axis alignment, localized irregularities, feature heterogeneity, and training stability. We propose \emph{LassoFlexNet}, an architecture that evaluates the linear and nonlinear marginal contribution of each input via Per-Feature Embeddings, and sparsely selects relevant variables using a Tied Group Lasso mechanism. Because these components introduce optimization challenges that destabilize standard proximal methods, we develop a \emph{Sequential Hierarchical Proximal Adaptive Gradient optimizer with exponential moving averages (EMA)} to ensure stable convergence. Across $52$ datasets from three benchmarks, LassoFlexNet matches or outperforms leading tree-based models, achieving up to a $10$\% relative gain, while maintaining Lasso-like interpretability. We substantiate these empirical results with ablation studies and theoretical proofs confirming the architecture's enhanced expressivity and structural breaking of undesired rotational invariance.
- Abstract（参考訳）: 視覚と言語が支配的であるにもかかわらず、ディープニューラルネットワークは表データ上のツリーベースモデルに比べて性能が劣ることが多い。
このギャップを埋めるために、我々は5つの重要な帰納バイアスをディープラーニングに組み込む:無関係な特徴に対する堅牢性、軸アライメント、局所的不規則性、特徴の不均一性、訓練安定性。
本稿では,各入力の線形および非線形な限界寄与をPer-Feature Embeddingsを用いて評価するアーキテクチャである \emph{LassoFlexNet} を提案し,Tied Group Lasso 機構を用いて関連変数を疎結合に選択する。
これらのコンポーネントは、標準近位法を不安定化する最適化課題を導入するため、安定収束を保証するために、指数移動平均(EMA)を持つ \emph{Sequential Hierarchical Proximal Adaptive Gradient Optimizationr を開発する。
LassoFlexNetは,3つのベンチマークから5,2ドル(約5,600円)のデータセットを網羅して,主要なツリーベースモデルにマッチするか,あるいはパフォーマンスを上回り,Lasso風の解釈性を維持しながら,最大10$\%の相対的なゲインを実現している。
我々は、これらの実験結果をアブレーション研究と理論的証明で実証し、アーキテクチャの強化された表現性と望ましくない回転不変量の構造的破壊を確認した。
関連論文リスト
- Closing the gap on tabular data with Fourier and Implicit Categorical Features [3.071430103942477]
提案した機能前処理がディープラーニングモデルの性能を大幅に向上させることを示す。
提案した機能プリプロセッシングにより,XGBoostと密に一致するか,あるいは超える性能を実現することができることを示す。
論文 参考訳（メタデータ） (2026-02-26T16:40:23Z) - Topologically-Stabilized Graph Neural Networks: Empirical Robustness Across Domains [0.0]
グラフニューラルネットワーク(GNN)はグラフ表現学習の標準となっているが、構造的摂動に弱いままである。
本稿では、永続的ホモロジー特徴と安定性の正則化を統合し、堅牢性を高める新しいフレームワークを提案する。
提案手法は, 競争精度を維持しつつ, エッジ摂動に対して極めて頑健であることを示す。
論文 参考訳（メタデータ） (2025-12-15T19:39:11Z) - Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。
実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
論文 参考訳（メタデータ） (2025-09-29T12:55:50Z) - Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳（メタデータ） (2025-09-22T15:13:14Z) - Tuning for Trustworthiness -- Balancing Performance and Explanation Consistency in Neural Network Optimization [49.567092222782435]
我々は,異なる特徴帰属法間の合意として定義された,XAI整合性という新しい概念を紹介する。
予測性能と説明のバランスをとる多目的最適化フレームワークを構築した。
本研究は、トレードオフゾーンバランス性能損失とXAI整合性による強靭性向上のモデルについて、今後の研究基盤を提供する。
論文 参考訳（メタデータ） (2025-05-12T13:19:14Z) - Consistency of augmentation graph and network approximability in contrastive learning [3.053989095162017]
拡張グラフ Laplacian の点方向およびスペクトル整合性について解析する。
ラプラシアンは自然データ多様体上の重み付きラプラス・ベルトラミ作用素に収束することを示す。
これらの整合性は、グラフラプラシアスペクトルが多様体幾何学を効果的に捉えることを保証する。
論文 参考訳（メタデータ） (2025-02-06T18:55:51Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳（メタデータ） (2021-01-15T11:39:09Z) - Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。
本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。
得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-15T17:38:15Z) - Residual Correlation in Graph Neural Network Regression [39.54530450932135]
我々は条件付き独立仮定が予測力を著しく制限していることを示します。
この問題を解釈可能かつ効率的なフレームワークで解決する。
我々のフレームワークは、競合するベースラインよりもかなり高い精度を実現している。
論文 参考訳（メタデータ） (2020-02-19T16:32:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。