論文の概要: Transform Once: Efficient Operator Learning in Frequency Domain

• arxiv url: http://arxiv.org/abs/2211.14453v1
• Date: Sat, 26 Nov 2022 01:56:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 16:54:07.076838
• Title: Transform Once: Efficient Operator Learning in Frequency Domain
• Title（参考訳）: 周波数領域における効率的な演算子学習
• Authors: Michael Poli, Stefano Massaroli, Federico Berto, Jinykoo Park, Tri Dao, Christopher R\'e, Stefano Ermon
• Abstract要約: 本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
• 参考スコア（独自算出の注目度）: 69.74509540521397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral analysis provides one of the most effective paradigms for information-preserving dimensionality reduction, as simple descriptions of naturally occurring signals are often obtained via few terms of periodic basis functions. In this work, we study deep neural networks designed to harness the structure in frequency domain for efficient learning of long-range correlations in space or time: frequency-domain models (FDMs). Existing FDMs are based on complex-valued transforms i.e. Fourier Transforms (FT), and layers that perform computation on the spectrum and input data separately. This design introduces considerable computational overhead: for each layer, a forward and inverse FT. Instead, this work introduces a blueprint for frequency domain learning through a single transform: transform once (T1). To enable efficient, direct learning in the frequency domain we derive a variance-preserving weight initialization scheme and investigate methods for frequency selection in reduced-order FDMs. Our results noticeably streamline the design process of FDMs, pruning redundant transforms, and leading to speedups of 3x to 10x that increase with data resolution and model size. We perform extensive experiments on learning the solution operator of spatio-temporal dynamics, including incompressible Navier-Stokes, turbulent flows around airfoils and high-resolution video of smoke. T1 models improve on the test performance of FDMs while requiring significantly less computation (5 hours instead of 32 for our large-scale experiment), with over 20% reduction in average predictive error across tasks.
• Abstract（参考訳）: スペクトル解析は情報保存次元減少のための最も効果的なパラダイムの1つであり、自然発生する信号の単純な記述は周期基底関数の数項でしばしば得られる。 本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習する深層ニューラルネットワーク(FDM)について検討する。 既存のFDMは複素数値変換、すなわちフーリエ変換(FT)とスペクトルと入力データを別々に計算する層に基づいている。 この設計は、各層に対してフォワードと逆FTという、かなりの計算オーバーヘッドをもたらす。 代わりに、この研究は単一の変換(transform once (T1))を通して周波数領域を学習するための青写真を導入している。 周波数領域での効率よく直接学習を実現するために、分散保存重み初期化スキームを導出し、低次FDMにおける周波数選択方法を検討する。 その結果,fdmの設計プロセスの合理化,冗長変換の削減,データ解像度とモデルサイズの増加による3倍から10倍の高速化が実現できた。 非圧縮性ナビエストーク, 翼まわりの乱流流, 煙の高分解能映像など, 時空間力学の解演算子の学習に関する広範な実験を行った。 t1モデルでは、fdmのテスト性能が向上し、計算量が大幅に削減され(大規模実験では32時間ではなく5時間)、タスク全体の平均予測エラーが20%以上削減された。

関連論文リスト

• Adaptive Random Fourier Features Training Stabilized By Resampling With Applications in Image Regression [0.8947831206263182]
  浅層ニューラルネットワークのための適応型ランダムフーリエ(ARFF)訓練アルゴリズムを提案する。 本手法は, 粒子フィルタ型再サンプリング技術を用いて, トレーニングプロセスの安定化とパラメータ選択に対する感度の低減を図る。
  論文  参考訳（メタデータ） (2024-10-08T22:08:03Z)
• Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis [9.969451740838418]
  時系列解析のためのコンパクトで強力なソリューションであるニューラルフーリエモデリング(NFM)を導入する。 NFM はフーリエ変換 (FT) の2つの重要な性質 (i) 有限長時系列をフーリエ領域の関数としてモデル化する能力 (ii) フーリエ領域内のデータ操作の能力 (ii) に基礎を置いている。 NFMは幅広いタスクで最先端のパフォーマンスを達成しており、テスト時にこれまで見つからなかったサンプリングレートを持つ時系列シナリオに挑戦する。
  論文  参考訳（メタデータ） (2024-10-07T02:39:55Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Solving Seismic Wave Equations on Variable Velocity Models with Fourier Neural Operator [3.2307366446033945]
  本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。 数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。 PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
  論文  参考訳（メタデータ） (2022-09-25T22:25:57Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Deep Frequency Filtering for Domain Generalization [55.66498461438285]
  Deep Neural Networks(DNN)は、学習プロセスにおいて、いくつかの周波数成分を優先する。 本稿では、ドメイン一般化可能な特徴を学習するためのDeep Frequency Filtering (DFF)を提案する。 提案したDFFをベースラインに適用すると,ドメインの一般化タスクにおける最先端の手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2022-03-23T05:19:06Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。