論文の概要: Fourier Preconditioning for Neural Feature Learning

• arxiv url: http://arxiv.org/abs/2607.02199v1
• Date: Thu, 02 Jul 2026 14:07:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.865366
• Title: Fourier Preconditioning for Neural Feature Learning
• Title（参考訳）: ニューラル特徴学習のためのフーリエプレコンディショニング
• Abstract要約: 相互情報(MI)にインスパイアされた特徴学習技術は、非線形依存構造を保持する低次元の埋め込みを生成することができる。 H-Scoreの目標は、2階統計から計算され、特徴抽出ネットワークを訓練するための実用的なプロキシ指標を提供する。 H-Scoreネットワークのユニタリプレコンディショニングについて検討し、適切なベースローテーションを選択することで、有限幅のトランケーション誤差を低減できることを示す。
• 参考スコア（独自算出の注目度）: 21.952441303074348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mutual information (MI)-inspired feature learning techniques are capable of generating low-dimensional embeddings that retain nonlinear dependence structures, but direct estimations of MI suffer from noisy probability distribution estimates in the low-data regime. The H-Score objective, computed from second-order statistics, provides a practical proxy metric for training feature extraction networks. We prove that H-Score is invariant to invertible transformations in the unrestricted functional setting, but becomes sensitive to input basis rotations under constrained approximation classes. Consequently, we study unitary preconditioning for H-Score networks and show that selecting an appropriate basis rotation reduces finite-width truncation error by concentrating predictive dependence into fewer dominant modes. We identify the fast Fourier transform (FFT) as an effective data-independent, low-cost preconditioner for approximately stationary processes, where spectral structure induces concentration of the cross-covariance singular value spectrum. We introduce training-free metrics based on spectral entropy and cumulative dependence energy to quantify basis suitability and predict downstream inference gains prior to network training. Experiments across eight multivariate datasets demonstrate that FFT preconditioning is particularly useful in resource-constrained regimes, achieving up to 50% normalized mean squared error (NMSE) reduction, while the proposed metrics correlate with observed performance gains and correctly identify cases where spectral preconditioning is detrimental.
• Abstract（参考訳）: 相互情報(MI)にインスパイアされた特徴学習技術は、非線形依存構造を保持する低次元埋め込みを生成することができるが、MIの直接推定は低データ構造におけるノイズの多い確率分布推定に苦しむ。 H-Scoreの目標は、2階統計から計算され、特徴抽出ネットワークを訓練するための実用的なプロキシ指標を提供する。 我々は、H-Scoreが非制限函数設定における可逆変換に不変であることを証明するが、制約付き近似クラスの下での入力基底回転に敏感になる。 その結果、H-Scoreネットワークのユニタリプレコンディショニングについて検討し、適切なベースローテーションを選択すると、予測依存をより少ない支配モードに集中させることで、有限幅のトランケーション誤差が減少することを示した。 我々は,高速フーリエ変換(FFT)を,スペクトル構造が相互共分散特異値スペクトルの濃度を誘導する定常過程に対する有効なデータ独立で低コストプリコンディショナーとして同定する。 本稿では,スペクトルエントロピーと累積依存エネルギーに基づくトレーニングフリーなメトリクスを導入し,ネットワークトレーニングに先立って,ベース適合性を定量化し,下流の予測ゲインを予測する。 8つの多変量データセットを対象とした実験により、FFTプレコンディショニングは、最大50%の正規化平均二乗誤差(NMSE)削減を達成するとともに、スペクトルプレコンディショニングが有害な場合の相関性を示す。

関連論文リスト

• From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
  拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。 最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。 次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
  論文  参考訳（メタデータ） (2026-07-10T20:59:06Z)
• Amortized Spectral Kernel Discovery via Prior-Data Fitted Network [0.0]
  本稿では,事前学習したPFNのスペクトル発見を非結合的に行うための解釈可能性駆動型フレームワークを提案する。 我々は、PFNラプタントを明示的なスペクトル密度推定と対応する定常カーネルにマッピングするデコーダアーキテクチャを提案する。 これにより、最適化ベースのベースラインと比較して、推論時間のオーダー・オブ・マグニチュードが減少する。
  論文  参考訳（メタデータ） (2026-01-29T13:51:26Z)
• A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation [9.68824512279232]
  相互情報(MI)は、変数間の依存関係をキャプチャするための重要な手段である。 正規化を組み込むためにディリクレ過程後部の有限表現でMI損失を構成することでMI推定器を訓練するソリューションを提案する。 データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
  論文  参考訳（メタデータ） (2025-03-11T21:27:48Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• Similarity-Distance-Magnitude Universal Verification [0.0]
  本研究では,不確実性を考慮した検証と解釈可能性を考慮したSDMネットワークを本質的特性として構築する。 これらの結果を実装したオープンソースソフトウェアを提供する。
  論文  参考訳（メタデータ） (2025-02-27T15:05:00Z)
• DispFormer: A Pretrained Transformer Incorporating Physical Constraints for Dispersion Curve Inversion [56.64622091009756]
  本研究では、レイリー波位相と群分散曲線からプロファイルインバージョンを$v_s$とするトランスフォーマーベースのニューラルネットワークであるDispFormerを紹介する。 DispFormerは各期間に分散データを個別に処理し、ネットワークの変更やデータセットのトレーニングとテストの厳格な調整を必要とせずに、さまざまな長さを処理できる。
  論文  参考訳（メタデータ） (2025-01-08T09:08:24Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。