論文の概要: Random at First, Fast at Last: NTK-Guided Fourier Pre-Processing for Tabular DL

• arxiv url: http://arxiv.org/abs/2506.02406v1
• Date: Tue, 03 Jun 2025 03:45:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.215554
• Title: Random at First, Fast at Last: NTK-Guided Fourier Pre-Processing for Tabular DL
• Title（参考訳）: NTK-Guided Fourier Pre-Processing at First, Fast at Last: NTK-Guided Fourier Pre-Processing for Tabular DL
• Authors: Renat Sergazinov, Jing Wu, Shao-An Yin,
• Abstract要約: パラメータフリーでアーキテクチャに依存しない変換として、ランダムなフーリエ写像を再検討し、再利用する。 提案手法は,アドホック正規化や追加の学習可能な埋め込みの必要性を回避するものである。 実験的に、フーリエ変換された入力に基づいて訓練されたディープネットワークがより高速に収束し、安定した最終性能が得られることを示した。
• 参考スコア（独自算出の注目度）: 4.6774351030379835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While random Fourier features are a classic tool in kernel methods, their utility as a pre-processing step for deep learning on tabular data has been largely overlooked. Motivated by shortcomings in tabular deep learning pipelines - revealed through Neural Tangent Kernel (NTK) analysis - we revisit and repurpose random Fourier mappings as a parameter-free, architecture-agnostic transformation. By projecting each input into a fixed feature space via sine and cosine projections with frequencies drawn once at initialization, this approach circumvents the need for ad hoc normalization or additional learnable embeddings. We show within the NTK framework that this mapping (i) bounds and conditions the network's initial NTK spectrum, and (ii) introduces a bias that shortens the optimization trajectory, thereby accelerating gradient-based training. These effects pre-condition the network with a stable kernel from the outset. Empirically, we demonstrate that deep networks trained on Fourier-transformed inputs converge more rapidly and consistently achieve strong final performance, often with fewer epochs and less hyperparameter tuning. Our findings establish random Fourier pre-processing as a theoretically motivated, plug-and-play enhancement for tabular deep learning.
• Abstract（参考訳）: ランダムなフーリエ機能はカーネルメソッドでは古典的なツールであるが、表データの深層学習のための前処理ステップとしてのその実用性はほとんど見過ごされている。 グラフ型ディープラーニングパイプラインの欠点 – Neural Tangent Kernel (NTK)分析を通じて明らかになった – により、パラメータフリーでアーキテクチャに依存しない変換として、ランダムなFourierマッピングを再検討し、再利用する。 各入力を正弦射影と正弦射影によって固定された特徴空間に投影し、初期化時に一度引き出された周波数で投影することにより、アドホック正規化や追加の学習可能な埋め込みの必要性を回避することができる。 私たちはNTKフレームワークの中で、このマッピングを示します。 (i)ネットワークの初期NTKスペクトルの境界と条件、及び (二)最適化軌道を短くするバイアスを導入し、勾配に基づく訓練を加速させる。 これらの効果は、ネットワークを最初から安定なカーネルでプレコンディションする。 実験的に、フーリエ変換された入力に基づいてトレーニングされたディープネットワークがより速く収束し、持続的に強い最終性能を達成し、エポックは少なく、ハイパーパラメータチューニングも少ないことが実証された。 本研究は,表層深層学習のための理論的動機付け,プラグ・アンド・プレイ強化として,ランダムなフーリエ前処理を確立した。

関連論文リスト

• Robust Fourier Neural Networks [1.0589208420411014]
  フーリエ埋込層の後, 単純な対角層を導入することにより, ネットワークの騒音測定がより堅牢になることを示す。 特定の条件下では,フーリエ関数の非線形関数の雑音混合である関数も学習することができる。
  論文  参考訳（メタデータ） (2024-09-03T16:56:41Z)
• Spectral-Refiner: Accurate Fine-Tuning of Spatiotemporal Fourier Neural Operator for Turbulent Flows [6.961408873053586]
  最近の演算子型ニューラルネットワークは、部分微分方程式(PDE)の近似に有望な結果を示している。 これらのニューラルネットワークは、かなりのトレーニング費用を要し、科学や工学の分野において要求される精度を常に達成するとは限らない。
  論文  参考訳（メタデータ） (2024-05-27T14:33:06Z)
• Fourier Sensitivity and Regularization of Computer Vision Models [11.79852671537969]
  本稿では,ディープニューラルネットワークの周波数感度特性について,原理的アプローチを用いて検討する。 コンピュータビジョンモデルは、データセット、トレーニング方法、アーキテクチャに依存する特定の周波数に一貫して敏感であることがわかった。
  論文  参考訳（メタデータ） (2023-01-31T10:05:35Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。