論文の概要: Gradient Descent as a Shrinkage Operator for Spectral Bias

• arxiv url: http://arxiv.org/abs/2504.18207v1
• Date: Fri, 25 Apr 2025 09:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.725019
• Title: Gradient Descent as a Shrinkage Operator for Spectral Bias
• Title（参考訳）: スペクトルバイアスの収縮演算子としてのグラディエント蛍光
• Authors: Simon Lucey,
• Abstract要約: 勾配降下(GD)は、ニューラルネットワークのヤコビアンの特異値を隠す収縮演算子として解釈することができる。 本稿では、GDが保持する周波数成分の数を暗黙的に選択し、スペクトルバイアスを制御する方法を示す。
• 参考スコア（独自算出の注目度）: 38.24632044926936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We generalize the connection between activation function and spline regression/smoothing and characterize how this choice may influence spectral bias within a 1D shallow network. We then demonstrate how gradient descent (GD) can be reinterpreted as a shrinkage operator that masks the singular values of a neural network's Jacobian. Viewed this way, GD implicitly selects the number of frequency components to retain, thereby controlling the spectral bias. An explicit relationship is proposed between the choice of GD hyperparameters (learning rate & number of iterations) and bandwidth (the number of active components). GD regularization is shown to be effective only with monotonic activation functions. Finally, we highlight the utility of non-monotonic activation functions (sinc, Gaussian) as iteration-efficient surrogates for spectral bias.
• Abstract（参考訳）: 活性化関数とスプライン回帰/平滑化の接続を一般化し、この選択が1次元浅層ネットワーク内のスペクトルバイアスにどのように影響するかを特徴付ける。 次に、勾配降下(GD)を、ニューラルネットワークのヤコビアンの特異値を隠す収縮演算子として再解釈する方法を示す。 このようにしてGDは、保持する周波数成分の数を暗黙的に選択し、スペクトルバイアスを制御する。 GDハイパーパラメータ(学習率とイテレーション数)と帯域幅(アクティブコンポーネント数)のどちらを選択するかという明確な関係が提案されている。 GD正則化は単調な活性化関数にのみ有効であることが示されている。 最後に,非単調なアクティベーション関数(シンク,ガウス)の有用性を,スペクトルバイアスに対する反復効率のサロゲートとして強調する。

関連論文リスト

• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• Making Sense Of Distributed Representations With Activation Spectroscopy [44.94093096989921]
  関連する機能が多くのニューロンに分散的にコード化されていることを示す証拠が増えている。 この研究は、分散表現におけるニューロンの結合の影響を検知し、追跡するための一つの実現可能な経路を探索する。
  論文  参考訳（メタデータ） (2025-01-26T07:33:42Z)
• Point-Calibrated Spectral Neural Operators [54.13671100638092]
  点レベル適応スペクトルベースで関数を近似することで演算子マッピングを学習する。 点平衡スペクトル演算子は点レベル適応スペクトルベースで関数を近似することで演算子マッピングを学習する。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• FINER++: Building a Family of Variable-periodic Functions for Activating Implicit Neural Representation [39.116375158815515]
  Inlicit Neural Representation (INR)は、信号処理の分野で革命を引き起こしている。 INR技術は「周波数」特定スペクトルバイアスとキャパシティ・コンバージェンスギャップに悩まされる。 既存の周期的/非周期的アクティベーション関数を可変周期的関数に拡張することにより、FINER++フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-28T09:24:57Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)
• Spectral Feature Augmentation for Graph Contrastive Learning and Beyond [64.78221638149276]
  グラフ(および画像)におけるコントラスト学習のための新しいスペクトル特徴論法を提案する。 各データビューに対して,特徴写像毎の低ランク近似を推定し,その近似を地図から抽出して補数を求める。 これは、2つの価値ある副産物(単に1つまたは2つのイテレーション)を楽しむ非標準パワーレジームである、ここで提案された不完全パワーイテレーションによって達成される。 グラフ/画像データセットの実験では、スペクトルフィーチャの増大がベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-02T08:48:11Z)
• On the Activation Function Dependence of the Spectral Bias of Neural Networks [0.0]
  ニューラルネットワークのスペクトルバイアスの観点から,この現象を考察する。 本稿では,ReLUニューラルネットワークのスペクトルバイアスを有限要素法との接続を利用して理論的に説明する。 我々は,Hatアクティベーション機能を持つニューラルネットワークが勾配降下とADAMを用いて大幅に高速にトレーニングされていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T17:40:57Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Implicit Bias of MSE Gradient Optimization in Underparameterized Neural Networks [0.0]
  勾配流による平均二乗誤差の最適化において,関数空間におけるニューラルネットワークのダイナミクスについて検討する。 ニューラルタンジェントカーネル(NTK)により決定された積分作用素$T_Kinfty$の固有関数をネットワークが学習することを示す。 減衰偏差は2乗誤差を最適化する際の力学の単純かつ統一的な視点を与えると結論付けている。
  論文  参考訳（メタデータ） (2022-01-12T23:28:41Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。