Fugu-MT 論文翻訳(概要): Scaling Continuous Kernels with Sparse Fourier Domain Learning

論文の概要: Scaling Continuous Kernels with Sparse Fourier Domain Learning

arxiv url: http://arxiv.org/abs/2409.09875v1
Date: Sun, 15 Sep 2024 21:50:52 GMT
ステータス: 処理完了
システム内更新日: 2024-09-17 17:00:45.026482
Title: Scaling Continuous Kernels with Sparse Fourier Domain Learning
Title（参考訳）: スパースフーリエドメイン学習による継続的カーネルのスケーリング
Authors: Clayton Harper, Luke Wood, Peter Gerstoft, Eric C. Larson,
Abstract要約: 連続カーネル表現の学習において,計算効率,パラメータ効率,スペクトルバイアスの3つの課題に対処する。提案手法は, 連続カーネルの効率的なスケーリングを可能にし, 計算およびメモリ要求を大幅に削減し, ギブス現象を利用してスペクトルバイアスを緩和する。
参考スコア（独自算出の注目度）: 19.551597397412436
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We address three key challenges in learning continuous kernel representations: computational efficiency, parameter efficiency, and spectral bias. Continuous kernels have shown significant potential, but their practical adoption is often limited by high computational and memory demands. Additionally, these methods are prone to spectral bias, which impedes their ability to capture high-frequency details. To overcome these limitations, we propose a novel approach that leverages sparse learning in the Fourier domain. Our method enables the efficient scaling of continuous kernels, drastically reduces computational and memory requirements, and mitigates spectral bias by exploiting the Gibbs phenomenon.
Abstract（参考訳）: 連続カーネル表現の学習において,計算効率,パラメータ効率,スペクトルバイアスの3つの課題に対処する。連続カーネルは大きな可能性を示しているが、その実践的採用は高い計算量とメモリ要求によって制限されることが多い。さらに、これらの手法はスペクトルバイアスを起こしやすいため、高周波の詳細を捉えることができない。これらの制限を克服するために、フーリエ領域におけるスパース学習を活用する新しいアプローチを提案する。提案手法は, 連続カーネルの効率的なスケーリングを可能にし, 計算およびメモリ要求を大幅に削減し, ギブス現象を利用してスペクトルバイアスを緩和する。

関連論文リスト

How Feature Learning Can Improve Neural Scaling Laws [86.9540615081759]
我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
論文参考訳（メタデータ） (2024-09-26T14:05:32Z)
Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文参考訳（メタデータ） (2023-10-09T03:55:09Z)
Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence [0.18416014644193063]
我々は、プレコンディショナーを構築するためのNystr"om-typeメソッドの幅広いクラスについて考察する。検討されたすべての方法は、支配的なカーネルスペクトルを近似するために、インジェクション(カーネル)列の代表的なサブセットを特定することを目的としている。
論文参考訳（メタデータ） (2022-12-24T13:45:50Z)
Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文参考訳（メタデータ） (2022-11-28T09:57:15Z)
RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
論文参考訳（メタデータ） (2022-11-11T18:50:34Z)
Overcoming the Spectral Bias of Neural Value Approximation [17.546011419043644]
ディープニューラルネットワークを用いた値近似は、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。神経核レグレッションにおける最近の研究は、スペクトルバイアスの存在を示唆している。そこでは、値関数の高周波成分を適合させるには、低周波成分よりも指数関数的に多くの勾配更新ステップが必要である。我々は、カーネルレグレッションのレンズを通して、非政治強化学習を再検討し、複合神経カーネルを介してそのようなバイアスを克服することを提案する。
論文参考訳（メタデータ） (2022-06-09T17:59:57Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文参考訳（メタデータ） (2021-07-12T22:09:30Z)
Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning [29.221457769884648]
本研究では,非定常カーネルを学習するための明示的,入力に依存した,計測値のワーピングの一般的な形式を提案する。提案した学習アルゴリズムは、標準定常カーネルの滑らかさを制御する条件付きガウス測度として入力をワープする。我々は,小・大規模データ体制の学習問題において,ワーピング関数のパラメータ数に顕著な効率性を示す。
論文参考訳（メタデータ） (2020-10-09T01:10:08Z)
Low-dimensional Interpretable Kernels with Conic Discriminant Functions for Classification [0.0]
カーネルはしばしば、その高次元の特徴空間表現による印象的な予測力を示す暗黙のマッピング関数として開発される。本研究では,解釈可能な低次元カーネルの集合に繋がる,一連の単純な特徴写像を徐々に構築する。
論文参考訳（メタデータ） (2020-07-17T13:58:54Z)
On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。