論文の概要: Amortized Spectral Kernel Discovery via Prior-Data Fitted Network

• arxiv url: http://arxiv.org/abs/2601.21731v1
• Date: Thu, 29 Jan 2026 13:51:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.868125
• Title: Amortized Spectral Kernel Discovery via Prior-Data Fitted Network
• Title（参考訳）: Amortized Spectral Kernel Discovery via Prior-Data Fitted Network
• Authors: Kaustubh Sharma, Srijan Tiwari, Ojasva Nema, Parikshit Pareek,
• Abstract要約: 本稿では,事前学習したPFNのスペクトル発見を非結合的に行うための解釈可能性駆動型フレームワークを提案する。 我々は、PFNラプタントを明示的なスペクトル密度推定と対応する定常カーネルにマッピングするデコーダアーキテクチャを提案する。 これにより、最適化ベースのベースラインと比較して、推論時間のオーダー・オブ・マグニチュードが減少する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior-Data Fitted Networks (PFNs) enable efficient amortized inference but lack transparent access to their learned priors and kernels. This opacity hinders their use in downstream tasks, such as surrogate-based optimization, that require explicit covariance models. We introduce an interpretability-driven framework for amortized spectral discovery from pre-trained PFNs with decoupled attention. We perform a mechanistic analysis on a trained PFN that identifies attention latent output as the key intermediary, linking observed function data to spectral structure. Building on this insight, we propose decoder architectures that map PFN latents to explicit spectral density estimates and corresponding stationary kernels via Bochner's theorem. We study this pipeline in both single-realization and multi-realization regimes, contextualizing theoretical limits on spectral identifiability and proving consistency when multiple function samples are available. Empirically, the proposed decoders recover complex multi-peak spectral mixtures and produce explicit kernels that support Gaussian process regression with accuracy comparable to PFNs and optimization-based baselines, while requiring only a single forward pass. This yields orders-of-magnitude reductions in inference time compared to optimization-based baselines.
• Abstract（参考訳）: Prior-Data Fitted Networks (PFN) は、効率的な償却推論を実現するが、学習したプリエントやカーネルへの透過的なアクセスを欠いている。 この不透明さは、明示的な共分散モデルを必要とする代理ベースの最適化のような下流タスクでの使用を妨げる。 本稿では,事前学習したPFNのスペクトル発見を非結合的に行うための解釈可能性駆動型フレームワークを提案する。 トレーニングされたPFN上で,観測された関数データをスペクトル構造にリンクして,注目遅延出力を鍵中間体として認識する機構解析を行う。 この知見に基づいて、PFNラプタントを明示的なスペクトル密度推定とそれに対応する定常カーネルにボヒナーの定理をマッピングするデコーダアーキテクチャを提案する。 本研究では,このパイプラインを単一実現型と多実現型の両方で検討し,複数の関数サンプルが利用可能である場合のスペクトル識別可能性に関する理論的限界と整合性を証明する。 提案するデコーダは複雑なマルチピークスペクトル混合物を復元し,PFNや最適化ベースラインに匹敵する精度でガウス過程の回帰をサポートする明示的なカーネルを生成する。 これにより、最適化ベースのベースラインと比較して、推論時間のオーダー・オブ・マグニチュードが減少する。

関連論文リスト

• Spectral Algorithms under Covariate Shift [4.349399061959293]
  スペクトルアルゴリズムはスペクトル正則化技術を利用してデータを分析・処理する。 トレーニングデータとテストデータの分布が異なる場合のスペクトルアルゴリズムの収束挙動について検討する。 本稿では,密度比情報を学習プロセスに組み込んだ正規化重み付き新しい重み付きスペクトルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T04:02:06Z)
• Nonparametric Bellman Mappings for Value Iteration in Distributed Reinforcement Learning [8.324857108715007]
  本稿では,分散強化学習(DRL)における値反復(VI)のためのベルマン写像(B-Maps)を提案する。 各エージェントは、そのプライベートデータから非パラメトリックなBマップを構築し、再生されたカーネルヒルベルト空間で表されるQ関数を操作する。 詳細な性能解析により,提案するDRLフレームワークは集中ノードの性能を効果的に近似することを示した。
  論文  参考訳（メタデータ） (2025-03-20T14:39:21Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Learning Neural Eigenfunctions for Unsupervised Semantic Segmentation [12.91586050451152]
  スペクトルクラスタリング(英: Spectral clustering)は、異なるクラスタを構築するために画素のスペクトル埋め込みを計算する理論上の解である。 現在のアプローチは、まだスペクトル分解の非効率性と、試験データに適用する際の柔軟性に悩まされている。 この研究は、スペクトルクラスタリングをニューラルネットワークに基づく固有関数を用いてスペクトル埋め込みを生成するパラメトリックアプローチとしてキャストすることで、これらの問題に対処する。 実際には、神経固有関数は軽量であり、事前訓練されたモデルの特徴を入力とし、トレーニング効率を改善し、より密集した予測のための事前訓練されたモデルの可能性を解き放つ。
  論文  参考訳（メタデータ） (2023-04-06T03:14:15Z)
• Convolutional Spectral Kernel Learning [21.595130250234646]
  逆フーリエ変換に基づく解釈可能な畳み込みスペクトルカーネルネットワーク(textttCSKN)を構築する。 一般化誤差境界を導出し、性能を改善するために2つの正規化器を導入する。 実世界のデータセットを用いた実験は、学習フレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2020-02-28T14:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。