論文の概要: Adaptive Random Fourier Features Training Stabilized By Resampling With Applications in Image Regression

• arxiv url: http://arxiv.org/abs/2410.06399v2
• Date: Wed, 27 Nov 2024 20:24:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:15:47.197515
• Title: Adaptive Random Fourier Features Training Stabilized By Resampling With Applications in Image Regression
• Title（参考訳）: 画像回帰の応用による適応的ランダムフーリエ訓練
• Authors: Aku Kammonen, Anamika Pandey, Erik von Schwerin, Raúl Tempone,
• Abstract要約: 浅層ニューラルネットワークのための適応型ランダムフーリエ(ARFF)訓練アルゴリズムを提案する。 本手法は, 粒子フィルタ型再サンプリング法を用いて, トレーニング過程を安定化し, パラメータ選択に対する感度を低下させる。
• 参考スコア（独自算出の注目度）: 0.8947831206263182
• License:
• Abstract: This paper presents an enhanced adaptive random Fourier features (ARFF) training algorithm for shallow neural networks, building upon the work introduced in "Adaptive Random Fourier Features with Metropolis Sampling", Kammonen et al., \emph{Foundations of Data Science}, 2(3):309--332, 2020. This improved method uses a particle filter-type resampling technique to stabilize the training process and reduce the sensitivity to parameter choices. The Metropolis test can also be omitted when resampling is used, reducing the number of hyperparameters by one and reducing the computational cost per iteration compared to the ARFF method. We present comprehensive numerical experiments demonstrating the efficacy of the proposed algorithm in function regression tasks as a stand-alone method and as a pretraining step before gradient-based optimization, using the Adam optimizer. Furthermore, we apply the proposed algorithm to a simple image regression problem, illustrating its utility in sampling frequencies for the random Fourier features (RFF) layer of coordinate-based multilayer perceptrons. In this context, we use the proposed algorithm to sample the parameters of the RFF layer in an automated manner.
• Abstract（参考訳）: 本稿では,浅層ニューラルネットワークのための適応的ランダムフーリエ特徴量(ARFF)訓練アルゴリズムを提案する。このアルゴリズムは,"Adaptive Random Fourier Features with Metropolis Sampling", Kammonen et al , \emph{Foundations of Data Science}, 2(3):309--332, 2020" で導入された作業に基づいて構築されている。 この改良法は, 粒子フィルタ型再サンプリング法を用いて, トレーニング過程を安定化し, パラメータ選択に対する感度を低下させる。 メトロポリステストは再サンプリングを行う際にも省略することができ、ハイパーパラメータの数を1つ減らし、ARFF法と比較して反復当たりの計算コストを削減できる。 本稿では,関数回帰タスクにおける提案アルゴリズムの有効性をスタンドアローン法として,勾配最適化前の事前学習段階として,アダム最適化を用いた総合的な数値実験を行った。 さらに,提案手法を単純な画像回帰問題に適用し,座標系多層パーセプトロンのランダムフーリエ特徴層(RFF)のサンプリング周波数に有効であることを示す。 この文脈では,提案アルゴリズムを用いてRFF層のパラメータを自動でサンプリングする。

関連論文リスト

• Optimized Sampling for Non-Line-of-Sight Imaging Using Modified Fast Fourier Transforms [6.866110149269]
  非線形(NLOS)イメージングシステムは拡散リレー面の光を収集し、3D再構成を出力する計算アルゴリズムに入力する。 これらのアルゴリズムは、Fast Fourier Transform (FFT) を用いて再構成プロセスを高速化するが、入力と出力の両方を均一な格子で空間的にサンプリングする必要がある。 本研究では,既存のNLOS撮像装置が典型的にリレー面を空間的にオーバーサンプリングし,再構成品質を犠牲にすることなく,なぜ圧縮できるのかを説明する。
  論文  参考訳（メタデータ） (2025-01-09T13:52:30Z)
• Adaptive Selection of Sampling-Reconstruction in Fourier Compressed Sensing [13.775902519100075]
  圧縮センシング(CS)は、ナイキストサンプリングの非効率性を克服するために出現している。 ディープラーニングベースの再構築は、最適化ベースの再構築に代わる有望な代替手段である。
  論文  参考訳（メタデータ） (2024-09-18T06:51:29Z)
• Projected Forward Gradient-Guided Frank-Wolfe Algorithm via Variance Reduction [0.0]
  本稿では、深層ニューラルネットワークのトレーニングにフランク・ウルフアルゴリズム(FW)を用いることを目標とする。 任意のアルゴリズムと同様に、FWはDNNの計算において高い計算メモリコストに悩まされる。
  論文  参考訳（メタデータ） (2024-03-19T07:25:36Z)
• Data-Driven Filter Design in FBP: Transforming CT Reconstruction with Trainable Fourier Series [3.6508148866314163]
  本稿では,FBPフレームワーク内にCT再構成のためのトレーニング可能なフィルタを導入する。 この方法は、フーリエ級数係数を最適化してフィルタを構成することにより、ノイズ低減の限界を克服する。 本フィルタは既存のCT再構成モデルに容易に組み込めるので,幅広い応用に適応できるツールである。
  論文  参考訳（メタデータ） (2024-01-29T10:47:37Z)
• On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding [76.78321723602636]
  我々は、好ましくない副作用を伴わずに、正確な暗黙の場を学習するための適切なサンプリング率を決定するツールを考案した。 PEを具備したPEは、PE層の最高周波数成分よりも内在周波数がはるかに高いことが観察された。 SDFフィッティングの設定において,この推奨サンプリングレートは正確なフィッティング結果の確保に十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:51:52Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Supervised Learning and the Finite-Temperature String Method for Computing Committor Functions and Reaction Rates [0.0]
  希少事象の計算研究における中心的な対象はコミッタ関数である。 アルゴリズムの精度を改善するために追加の修正が必要であることを示す。
  論文  参考訳（メタデータ） (2021-07-28T17:44:00Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。