論文の概要: From Tables to Signals: Revealing Spectral Adaptivity in TabPFN

• arxiv url: http://arxiv.org/abs/2511.18278v1
• Date: Sun, 23 Nov 2025 04:07:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.740994
• Title: From Tables to Signals: Revealing Spectral Adaptivity in TabPFN
• Title（参考訳）: テーブルから信号へ:TabPFNにおけるスペクトル適応性を明らかにする
• Authors: Jianqiao Zheng, Cameron Gordon, Yiping Ji, Hemanth Saratchandran, Simon Lucey,
• Abstract要約: 本研究では,TabPFNのコンテキスト内学習行動の周波数に基づく最初の分析を行う。 本研究では,TabPFNが標準のReLU-MLPよりも広い有効周波数容量を有することを示す。 位置符号化はTabPFNの周波数応答を変調し、古典的な結果を暗黙の神経表現に反映する。
• 参考スコア（独自算出の注目度）: 28.098923292818146
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Task-agnostic tabular foundation models such as TabPFN have achieved impressive performance on tabular learning tasks, yet the origins of their inductive biases remain poorly understood. In this work, we study TabPFN through the lens of signal reconstruction and provide the first frequency-based analysis of its in-context learning behavior. We show that TabPFN possesses a broader effective frequency capacity than standard ReLU-MLPs, even without hyperparameter tuning. Moreover, unlike MLPs whose spectra evolve primarily over training epochs, we find that TabPFN's spectral capacity adapts directly to the number of samples provided in-context, a phenomenon we term Spectral Adaptivity. We further demonstrate that positional encoding modulates TabPFN's frequency response, mirroring classical results in implicit neural representations. Finally, we show that these properties enable TabPFN to perform training-free and hyperparameter-free image denoising, illustrating its potential as a task-agnostic implicit model. Our analysis provides new insight into the structure and inductive biases of tabular foundation models and highlights their promise for broader signal reconstruction tasks.
• Abstract（参考訳）: TabPFNのようなタスク非依存の表層基礎モデルは、表層学習タスクにおいて顕著なパフォーマンスを達成しているが、その帰納的バイアスの起源はよく分かっていない。 本研究では,TabPFNを信号再構成のレンズを用いて研究し,そのコンテキスト内学習行動の周波数に基づく最初の解析を行う。 本稿では,TabPFNが標準のReLU-MLPよりも広い有効周波数容量を有することを示す。 さらに、トレーニングエポックよりもスペクトルが主に進化するMLPとは異なり、TabPFNのスペクトル容量は、スペクトル適応性(Spectral Adaptivity)という現象であるコンテキスト内で提供されるサンプルの数に直接適応する。 さらに、位置符号化はTabPFNの周波数応答を変調し、古典的な結果を暗黙の神経表現に反映することを示した。 最後に、これらの特性により、TabPFNは、タスクに依存しない暗黙的モデルとしての可能性を示し、トレーニング不要でハイパーパラメータフリーな画像の復調を行うことができることを示す。 本分析は,表層基礎モデルの構造と帰納バイアスに関する新たな知見を提供し,より広範な信号再構成タスクへの期待を強調している。

関連論文リスト

• Causal Convolutional Neural Networks as Finite Impulse Response Filters [3.268966882982408]
  因果畳み込みニューラルネットワーク(Causal Convolutional Neural Networks, CNN)は、動的システムに関わるタスクに対して、スペクトル機能を暗黙的かつ明示的にキャプチャする。 ネットワーク全体が、最小二乗基準で最適化されたFIRフィルタに似た、等価な単一層フィルタに還元可能であることを示す。 この等価性は、スパース周波数の信号に基づいて訓練されたCNNのスペクトル学習行動に関する新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-10-28T06:57:14Z)
• Robustifying Fourier Features Embeddings for Implicit Neural Representations [25.725097757343367]
  Inlicit Neural Representation (INR) は、目標関数の対応する値に座標をマッピングすることで、連続関数を表現するためにニューラルネットワークを使用する。 INRは、様々な周波数を含むシーンを扱う際に、スペクトルバイアスとして知られる課題に直面している。 本稿では,多層パーセプトロン (MLP) を添加剤なしで使用することを提案する。
  論文  参考訳（メタデータ） (2025-02-08T07:43:37Z)
• On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks [92.66231524298554]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、高性能にトレーニングできるスパース・コンボリューションワークを抽出する一般的な方法となっている。 近年の研究では、IMPを完全連結ニューラルネットワーク(FCN)に適用することで、局所受容野(RF)の出現につながることが示されている。 非ガウス的統計量(例えばシャープエッジ)を用いた合成画像のトレーニングは、FCNにおける局所RFの出現を促進するのに十分であることを示す結果から着想を得て、IMPが非ガウス的統計量のFCN表現を反復的に増加させるという仮説を立てた。
  論文  参考訳（メタデータ） (2024-12-09T14:56:23Z)
• FreSh: Frequency Shifting for Accelerated Neural Representation Learning [11.175745750843484]
  Inlicit Neural Representations (INR) は、画像、ビデオ、三次元形状などの信号を多層パーセプトロン(MLP)を用いて連続的に表現するための強力なアプローチとして近年注目されている。 低周波の詳細は低周波バイアスを示し、高周波の詳細を正確に捉える能力を制限することが知られている。 本稿では、初期出力の周波数スペクトルと目標信号の周波数スペクトルを一致させる周波数シフト(FreSh)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T14:05:57Z)
• On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding [76.78321723602636]
  我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。 PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。 SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:51:52Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。