論文の概要: Adaptive Random Fourier Features Training Stabilized By Resampling With Applications in Image Regression

• arxiv url: http://arxiv.org/abs/2410.06399v1
• Date: Tue, 8 Oct 2024 22:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 05:59:12.497926
• Title: Adaptive Random Fourier Features Training Stabilized By Resampling With Applications in Image Regression
• Title（参考訳）: 画像回帰の応用による適応的ランダムフーリエ訓練
• Authors: Aku Kammonen, Anamika Pandey, Erik von Schwerin, Raúl Tempone,
• Abstract要約: 浅層ニューラルネットワークのための適応型ランダムフーリエ(ARFF)訓練アルゴリズムを提案する。 本手法は, 粒子フィルタ型再サンプリング技術を用いて, トレーニングプロセスの安定化とパラメータ選択に対する感度の低減を図る。
• 参考スコア（独自算出の注目度）: 0.8947831206263182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents an enhanced adaptive random Fourier features (ARFF) training algorithm for shallow neural networks, building upon the work introduced in "Adaptive Random Fourier Features with Metropolis Sampling", Kammonen et al., Foundations of Data Science, 2(3):309--332, 2020. This improved method uses a particle filter type resampling technique to stabilize the training process and reduce sensitivity to parameter choices. With resampling, the Metropolis test may also be omitted, reducing the number of hyperparameters and reducing the computational cost per iteration, compared to ARFF. We present comprehensive numerical experiments demonstrating the efficacy of our proposed algorithm in function regression tasks, both as a standalone method and as a pre-training step before gradient-based optimization, here Adam. Furthermore, we apply our algorithm to a simple image regression problem, showcasing its utility in sampling frequencies for the random Fourier features (RFF) layer of coordinate-based multilayer perceptrons (MLPs). In this context, we use the proposed algorithm to sample the parameters of the RFF layer in an automated manner.
• Abstract（参考訳）: 本稿では,浅層ニューラルネットワークのための適応型ランダムフーリエ(ARFF)学習アルゴリズムを提案する。このアルゴリズムは,"Adaptive Random Fourier Features with Metropolis Sampling", Kammonen et al , Foundations of Data Science, 2(3):309--332, 2020" で導入された作業に基づいている。 この改良手法は, 粒子フィルタ型再サンプリング法を用いて, トレーニングプロセスの安定化とパラメータ選択に対する感度の低下を図る。 再サンプリングでは、メトロポリステストも省略され、ハイパーパラメータの数が減少し、ARFFと比較して反復当たりの計算コストが削減される。 本稿では,関数回帰タスクにおける提案アルゴリズムの有効性を示す総合的な数値実験について述べる。 さらに,このアルゴリズムを単純な画像回帰問題に適用し,座標系多層パーセプトロン(MLP)のランダムフーリエ特徴層(RFF)のサンプリング周波数に有効であることを示す。 この文脈では,提案アルゴリズムを用いてRFF層のパラメータを自動でサンプリングする。

関連論文リスト

• Adaptive Selection of Sampling-Reconstruction in Fourier Compressed Sensing [13.775902519100075]
  圧縮センシング(CS)は、ナイキストサンプリングの非効率性を克服するために出現している。 ディープラーニングベースの再構築は、最適化ベースの再構築に代わる有望な代替手段である。
  論文  参考訳（メタデータ） (2024-09-18T06:51:29Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Data-Driven Filter Design in FBP: Transforming CT Reconstruction with Trainable Fourier Series [3.6508148866314163]
  本稿では,FBPフレームワーク内にCT再構成のためのトレーニング可能なフィルタを導入する。 この方法は、フーリエ級数係数を最適化してフィルタを構成することにより、ノイズ低減の限界を克服する。 本フィルタは既存のCT再構成モデルに容易に組み込めるので,幅広い応用に適応できるツールである。
  論文  参考訳（メタデータ） (2024-01-29T10:47:37Z)
• On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding [79.67071790034609]
  我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。 PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。 SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:51:52Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Adaptive Client Sampling in Federated Learning via Online Learning with Bandit Feedback [36.05851452151107]
  統合学習(FL)システムは、トレーニングの各ラウンドに関与するクライアントのサブセットをサンプリングする必要があります。 その重要性にもかかわらず、クライアントを効果的にサンプリングする方法には制限がある。 提案手法は,最適化アルゴリズムの収束速度をいかに向上させるかを示す。
  論文  参考訳（メタデータ） (2021-12-28T23:50:52Z)
• Supervised Learning and the Finite-Temperature String Method for Computing Committor Functions and Reaction Rates [0.0]
  希少事象の計算研究における中心的な対象はコミッタ関数である。 アルゴリズムの精度を改善するために追加の修正が必要であることを示す。
  論文  参考訳（メタデータ） (2021-07-28T17:44:00Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。