論文の概要: From Uniform to Learned Knots: A Study of Spline-Based Numerical Encodings for Tabular Deep Learning

• arxiv url: http://arxiv.org/abs/2604.05635v1
• Date: Tue, 07 Apr 2026 09:36:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.742504
• Title: From Uniform to Learned Knots: A Study of Spline-Based Numerical Encodings for Tabular Deep Learning
• Title（参考訳）: 一様から学習した結び目:表層学習のためのスプラインベース数値エンコーディングの検討
• Authors: Manish Kumar, Anton Frederik Thielmann, Christoph Weisser, Benjamin Säfken,
• Abstract要約: ディープラーニングにおける明示的な数値前処理の役割は、いまだにあまり理解されていない。 本研究では,一様,量子的,標的認識,学習可能な結び目配置の数値的特徴を符号化するための3つのスプラインファミリーについて検討した。 その結果,数値符号化の効果はタスク,出力サイズ,バックボーンに強く依存していることがわかった。
• 参考スコア（独自算出の注目度）: 3.615762615905021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerical preprocessing remains an important component of tabular deep learning, where the representation of continuous features can strongly affect downstream performance. Although its importance is well established for classical statistical and machine learning models, the role of explicit numerical preprocessing in tabular deep learning remains less well understood. In this work, we study this question with a focus on spline-based numerical encodings. We investigate three spline families for encoding numerical features, namely B-splines, M-splines, and integrated splines (I-splines), under uniform, quantile-based, target-aware, and learnable-knot placement. For the learnable-knot variants, we use a differentiable knot parameterization that enables stable end-to-end optimization of knot locations jointly with the backbone. We evaluate these encodings on a diverse collection of public regression and classification datasets using MLP, ResNet, and FT-Transformer backbones, and compare them against common numerical preprocessing baselines. Our results show that the effect of numerical encodings depends strongly on the task, output size, and backbone. For classification, piecewise-linear encoding (PLE) is the most robust choice overall, while spline-based encodings remain competitive. For regression, no single encoding dominates uniformly. Instead, performance depends on the spline family, knot-placement strategy, and output size, with larger gains typically observed for MLP and ResNet than for FT-Transformer. We further find that learnable-knot variants can be optimized stably under the proposed parameterization, but may substantially increase training cost, especially for M-spline and I-spline expansions. Overall, the results show that numerical encodings should be assessed not only in terms of predictive performance, but also in terms of computational overhead.
• Abstract（参考訳）: 数値前処理は、連続的な特徴の表現が下流のパフォーマンスに強く影響を与える、表層深層学習の重要な要素である。 古典的な統計モデルや機械学習モデルにおいてその重要性は確立されているが、表層深層学習における明示的な数値前処理の役割はいまだよく理解されていない。 本研究では,スプライン型数値エンコーディングに着目し,この問題を考察する。 我々は,B-スプライン,M-スプライン,統合スプライン(I-スプライン)の数値的特徴を符号化するための3つのスプラインファミリーについて,均一で量子的,ターゲット認識,学習可能な結び目配置の下で検討した。 学習可能な結び目変種に対しては、バックボーンと連動して結び目位置の安定なエンドツーエンド最適化を可能にする、微分可能な結び目パラメータ化を用いる。 MLP, ResNet, FT-Transformerのバックボーンを用いて, 各種のパブリックレグレッションおよび分類データセットを用いて, これらのエンコーディングを評価し, 一般的な数値前処理ベースラインと比較した。 その結果,数値符号化の効果はタスク,出力サイズ,バックボーンに強く依存していることがわかった。 分類において、分割線形符号化(PLE)は全体として最も堅牢な選択であるが、スプラインベースの符号化は競争力を維持している。 レグレッションでは、単一のエンコーディングが一様に支配されることはない。 代わりに、パフォーマンスはスプラインファミリ、ノット配置戦略、出力サイズに依存し、通常、FT-TransformerよりもMLPやResNetで大きな利得が観測される。 さらに,学習可能な結び目変種はパラメータ化によって安定的に最適化できるが,特にM-スプラインやI-スプラインの拡張において,トレーニングコストを大幅に向上させる可能性がある。 その結果,数値エンコーディングは予測性能だけでなく,計算オーバーヘッドの観点からも評価されるべきであることがわかった。

関連論文リスト

• Efficient Encrypted Computation in Convolutional Spiking Neural Networks with TFHE [1.3047787405425166]
  ホモモルフィック暗号化(FHE)は、プライバシ保護計算において重要な技術である。 FHEは、離散整数上で動作し、加算と乗法のみをサポートするため、連続的な非多項式関数と競合する。 TFHEスキーム上に構築されたフレームワークであるFHE-DiCSNNを導入し,SNNの離散特性をセキュアかつ効率的な計算に利用した。
  論文  参考訳（メタデータ） (2026-03-25T03:15:59Z)
• Distributional encoding for Gaussian process regression with qualitative inputs [0.7342677574855652]
  本稿では,分布符号化(DE)に基づく一般化が,対象変数のすべてのサンプルをカテゴリとして利用することを示す。 提案手法は実験的に検証され,様々な合成および実世界のデータセットに対して最先端の予測性能を示す。
  論文  参考訳（メタデータ） (2025-06-05T09:35:02Z)
• LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
  リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。 本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。 我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-04-02T20:23:10Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Merging Two Cultures: Deep and Statistical Learning [3.15863303008255]
  深層学習と統計的学習の2つの文化を組み合わせることで、構造化された高次元データに対する洞察が得られる。 モデルの出力層における確率的手法を用いて予測,最適化,不確実性を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-22T02:57:21Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• A Partial Regularization Method for Network Compression [0.0]
  本稿では, モデル圧縮を高速に行うために, 完全正則化と言われる全てのパラメータをペナライズする元の形式ではなく, 部分正則化のアプローチを提案する。 実験結果から, ほぼすべての状況において, 走行時間の減少を観測することにより, 計算複雑性を低減できることが示唆された。 驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要な指標を改善するのに役立ちます。
  論文  参考訳（メタデータ） (2020-09-03T00:38:27Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。