論文の概要: DC is all you need: describing ReLU from a signal processing standpoint

• arxiv url: http://arxiv.org/abs/2407.16556v1
• Date: Tue, 23 Jul 2024 15:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 16:55:42.932501
• Title: DC is all you need: describing ReLU from a signal processing standpoint
• Title（参考訳）: DCが必要なのは、信号処理の観点からReLUを記述することだけだ。
• Authors: Christodoulos Kechris, Jonathan Dan, Jose Miranda, David Atienza,
• Abstract要約: 本稿では,一般的なアクティベーション機能であるReLUのスペクトル挙動について検討する。 我々は、ReLUが信号と定数DC成分に高周波数発振を導入することを実証した。 我々は,CNNの表現におけるReLUによって導入されたDC成分の役割を実験的に検討した。
• 参考スコア（独自算出の注目度）: 3.329222353111594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-linear activation functions are crucial in Convolutional Neural Networks. However, until now they have not been well described in the frequency domain. In this work, we study the spectral behavior of ReLU, a popular activation function. We use the ReLU's Taylor expansion to derive its frequency domain behavior. We demonstrate that ReLU introduces higher frequency oscillations in the signal and a constant DC component. Furthermore, we investigate the importance of this DC component, where we demonstrate that it helps the model extract meaningful features related to the input frequency content. We accompany our theoretical derivations with experiments and real-world examples. First, we numerically validate our frequency response model. Then we observe ReLU's spectral behavior on two example models and a real-world one. Finally, we experimentally investigate the role of the DC component introduced by ReLU in the CNN's representations. Our results indicate that the DC helps to converge to a weight configuration that is close to the initial random weights.
• Abstract（参考訳）: 非線形活性化関数は畳み込みニューラルネットワークにおいて重要である。 しかし、これまで周波数領域ではよく説明されていなかった。 本研究では,一般的なアクティベーション機能であるReLUのスペクトル挙動について検討する。 我々はReLUのTaylor拡張を用いて周波数領域の振る舞いを導出する。 我々は、ReLUが信号と定数DC成分に高周波数発振を導入することを実証した。 さらに、この直流成分の重要性について検討し、入力周波数の内容に関連する意味のある特徴をモデルが抽出するのに役立つことを示す。 実験と実世界の実例による理論的導出に付随する。 まず、周波数応答モデルについて数値的に検証する。 次に、ReLUのスペクトル挙動を2つの例モデルと実世界のモデルで観察する。 最後に,ReLUによるCNN表現におけるDC成分の役割について実験的に検討する。 以上の結果から,直流は初期ランダムウェイトに近い重み構成に収束することが示唆された。

関連論文リスト

• Taming the Frequency Factory of Sinusoidal Networks [0.9968037829925942]
  本稿では,低次元信号の符号化における有望な結果を示す$sinusoidal$sの構造と表現能力について検討する。 我々はこの新しい$identity$を使って信号スペクトルのサンプリングとして機能する入力ニューロンを初期化する。 また、隠れたニューロンは、隠れた重みによって完全に決定された振幅で同じ周波数を発生させる。
  論文  参考訳（メタデータ） (2024-07-30T18:24:46Z)
• Frequency and Generalisation of Periodic Activation Functions in Reinforcement Learning [9.6812227037557]
  周期的なアクティベーションは低周波表現を学習し、その結果、ブートストラップされたターゲットへの過度な適合を避けることが示される。 また、重み減衰正則化は周期的活性化関数のオーバーフィットを部分的に相殺できることを示す。
  論文  参考訳（メタデータ） (2024-07-09T11:07:41Z)
• RoHM: Robust Human Motion Reconstruction via Diffusion [58.63706638272891]
  RoHMは、モノクロRGB(-D)ビデオから頑健な3次元人間の動きを復元するためのアプローチである。 ノイズと閉鎖された入力データに条件付けし、一貫した大域座標で完全な可塑性運動を再構成した。 本手法は,テスト時に高速でありながら,定性的かつ定量的に最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-01-16T18:57:50Z)
• High-frequency suppression of inductive coupling between flux qubit and transmission line resonator [2.0249250133493195]
  伝送線路共振器(TLR)に誘導的に結合されたフラックス量子ビットからなる回路において自然発生する高周波遮断について検討する。 モード周波数, qubit-TLR結合強度, qubit Lambシフトの式を導出する。 我々は、将来の実験で理論モデルのテストと検証に使用できるシステムのスペクトルの特徴を同定する。
  論文  参考訳（メタデータ） (2023-08-15T15:53:45Z)
• Support Vectors and Gradient Dynamics for Implicit Bias in ReLU Networks [45.886537625951256]
  単一ニューロンReLUネットワークのトレーニングにおけるパラメータ空間の勾配流れのダイナミクスについて検討する。 具体的には、ReLUネットワークにおいて、なぜ、どのようにしてReLUネットワークが一般化されるかにおいて重要な役割を果たすサポートベクトルの観点で、暗黙のバイアスを発見できる。
  論文  参考訳（メタデータ） (2022-02-11T08:55:58Z)
• Periodic Activation Functions Induce Stationarity [19.689175123261613]
  本研究では,ベイズニューラルネットワークにおける周期的活性化関数が,ネットワーク重みと翻訳不変な定常ガウス過程とを関連づけていることを示す。 一連の実験において、周期的アクティベーション関数はドメイン内のデータに匹敵する性能を示し、ドメイン外検出のための深層ニューラルネットワークにおける摂動入力に対する感度を捉える。
  論文  参考訳（メタデータ） (2021-10-26T11:10:37Z)
• Sensing Cox Processes via Posterior Sampling and Positive Bases [56.82162768921196]
  本研究では,空間統計学から広く用いられている点過程の適応センシングについて検討する。 我々は、この強度関数を、特別に構築された正の基底で表される、歪んだガウス過程のサンプルとしてモデル化する。 我々の適応センシングアルゴリズムはランゲヴィン力学を用いており、後続サンプリング(textscCox-Thompson)と後続サンプリング(textscTop2)の原理に基づいている。
  論文  参考訳（メタデータ） (2021-10-21T14:47:06Z)
• Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
  光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。 本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。 低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
  論文  参考訳（メタデータ） (2021-08-03T12:26:33Z)
• Modulated Periodic Activations for Generalizable Local Functional Representations [113.64179351957888]
  我々は,複数のインスタンスに一般化し,最先端の忠実性を実現する新しい表現を提案する。 提案手法は,画像,映像,形状の汎用的な機能表現を生成し,単一信号に最適化された先行処理よりも高い再構成品質を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:04Z)
• Focal Frequency Loss for Image Reconstruction and Synthesis [125.7135706352493]
  周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。 本稿では,合成が難しい周波数成分に適応的に焦点を合わせることのできる,新しい焦点周波数損失を提案する。
  論文  参考訳（メタデータ） (2020-12-23T17:32:04Z)
• Dynamic ReLU [74.973224160508]
  本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。 静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。 単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
  論文  参考訳（メタデータ） (2020-03-22T23:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。