論文の概要: Tuning Frequency Bias of State Space Models

• arxiv url: http://arxiv.org/abs/2410.02035v1
• Date: Wed, 2 Oct 2024 21:04:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:25:11.520236
• Title: Tuning Frequency Bias of State Space Models
• Title（参考訳）: 状態空間モデルのチューニング周波数バイアス
• Authors: Annan Yu, Dongwei Lyu, Soon Hoe Lim, Michael W. Mahoney, N. Benjamin Erichson,
• Abstract要約: 状態空間モデル(SSM)は、線形時間不変(LTI)システムを利用して、長距離依存のシーケンスを学習する。 その結果,SSMは低周波成分を高周波成分よりも効果的に捕捉する傾向を示した。
• 参考スコア（独自算出の注目度）: 48.60241978021799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State space models (SSMs) leverage linear, time-invariant (LTI) systems to effectively learn sequences with long-range dependencies. By analyzing the transfer functions of LTI systems, we find that SSMs exhibit an implicit bias toward capturing low-frequency components more effectively than high-frequency ones. This behavior aligns with the broader notion of frequency bias in deep learning model training. We show that the initialization of an SSM assigns it an innate frequency bias and that training the model in a conventional way does not alter this bias. Based on our theory, we propose two mechanisms to tune frequency bias: either by scaling the initialization to tune the inborn frequency bias; or by applying a Sobolev-norm-based filter to adjust the sensitivity of the gradients to high-frequency inputs, which allows us to change the frequency bias via training. Using an image-denoising task, we empirically show that we can strengthen, weaken, or even reverse the frequency bias using both mechanisms. By tuning the frequency bias, we can also improve SSMs' performance on learning long-range sequences, averaging an 88.26% accuracy on the Long-Range Arena (LRA) benchmark tasks.
• Abstract（参考訳）: 状態空間モデル(SSM)は線形時間不変(LTI)システムを利用して、長距離依存のシーケンスを効果的に学習する。 LTI システムの伝達関数を解析することにより,SSM は低周波成分を高周波成分よりも効果的に捕捉するのに対して,暗黙の偏りを示すことがわかった。 この行動は、ディープラーニングモデルのトレーニングにおける周波数バイアスというより広範な概念と一致する。 本研究では,SSMの初期化によって固有周波数バイアスが付与され,従来の方法でモデルをトレーニングしても,このバイアスは変化しないことを示す。 本理論では,初期化を拡大して生起周波数バイアスを調整するか,あるいはソボレフ・ノルムフィルタを用いて高周波入力に対する勾配の感度を調整することにより,周波数バイアスをトレーニングによって変化させることができるかの2つのメカニズムを提案する。 画像デノベーションタスクを用いて、両方のメカニズムを用いて周波数バイアスを強化、弱め、あるいは逆にすることができることを実証的に示す。 周波数バイアスを調整することで、LRA(Long-Range Arena)ベンチマークタスクで平均88.26%の精度で、長距離シーケンスの学習におけるSSMのパフォーマンスを向上させることができる。

関連論文リスト

• Towards Combating Frequency Simplicity-biased Learning for Domain Generalization [36.777767173275336]
  ドメイン一般化手法は、未知のターゲットドメインによく一般化できるソースドメインから、転送可能な知識を学習することを目的としている。 近年の研究では、ニューラルネットワークはしばしば、特定の周波数セットに対する過度な信頼につながる単純さに偏った学習行動に悩まされていることが示されている。 本稿では,データセットの周波数特性を協調的かつ適応的に調整する2つの効果的なデータ拡張モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:17:01Z)
• FreSh: Frequency Shifting for Accelerated Neural Representation Learning [11.175745750843484]
  Inlicit Neural Representations (INR) は、画像、ビデオ、三次元形状などの信号を多層パーセプトロン(MLP)を用いて連続的に表現するための強力なアプローチとして近年注目されている。 低周波の詳細は低周波バイアスを示し、高周波の詳細を正確に捉える能力を制限することが知られている。 本稿では、初期出力の周波数スペクトルと目標信号の周波数スペクトルを一致させる周波数シフト(FreSh)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T14:05:57Z)
• Oscillatory State-Space Models [61.923849241099184]
  長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T22:00:13Z)
• Exploring Cross-Domain Few-Shot Classification via Frequency-Aware Prompting [37.721042095518044]
  クロスドメインなFew-Shot Learningはメタラーニングの発展に大きく貢献している。 本稿では,相互に注意を向けた周波数対応プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:14:09Z)
• Fredformer: Frequency Debiased Transformer for Time Series Forecasting [8.356290446630373]
  Transformerモデルは時系列予測において主要なパフォーマンスを示している。 データの中で低周波の特徴を学習し、高周波の特徴を見落とし、周波数バイアスを示す傾向がある。 そこで我々はFredformerを提案する。Fredformerは、異なる周波数帯域にまたがる特徴を均等に学習することで、周波数バイアスを軽減するために設計されたフレームワークである。
  論文  参考訳（メタデータ） (2024-06-13T11:29:21Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• SpecGrad: Diffusion Probabilistic Model based Neural Vocoder with Adaptive Noise Spectral Shaping [51.698273019061645]
  SpecGradは拡散雑音に適応し、その時間変化スペクトル包絡が条件付き対数メル分光器に近づく。 時間周波数領域で処理され、計算コストは従来のDDPMベースのニューラルボコーダとほぼ同じである。
  論文  参考訳（メタデータ） (2022-03-31T02:08:27Z)
• Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
  本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。 我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-27T14:25:52Z)
• Robust Learning with Frequency Domain Regularization [1.370633147306388]
  モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。 本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-07T07:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。