論文の概要: Deep Sturm--Liouville: From Sample-Based to 1D Regularization with Learnable Orthogonal Basis Functions

• arxiv url: http://arxiv.org/abs/2504.07151v1
• Date: Wed, 09 Apr 2025 07:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:20:02.462669
• Title: Deep Sturm--Liouville: From Sample-Based to 1D Regularization with Learnable Orthogonal Basis Functions
• Title（参考訳）: Deep Sturm--Liouville:学習可能な直交基底関数を用いたサンプルベースから1次元正規化へ
• Authors: David Vigouroux, Joseba Dalmau, Louis Béthune, Victor Boutin,
• Abstract要約: 入力空間内のフィールド線に沿って連続した1次元正則化を可能にする新しい関数近似器を提案する。 Deepdimensional Sturm--Liouville (SLT) はディープラーニングフレームワークに統合されている。 我々は、ランク1パラボラ値問題の解法において、DSLの定式化が自然に発生することを実証する。
• 参考スコア（独自算出の注目度）: 3.5936169218390703
• License:
• Abstract: Although Artificial Neural Networks (ANNs) have achieved remarkable success across various tasks, they still suffer from limited generalization. We hypothesize that this limitation arises from the traditional sample-based (0--dimensionnal) regularization used in ANNs. To overcome this, we introduce \textit{Deep Sturm--Liouville} (DSL), a novel function approximator that enables continuous 1D regularization along field lines in the input space by integrating the Sturm--Liouville Theorem (SLT) into the deep learning framework. DSL defines field lines traversing the input space, along which a Sturm--Liouville problem is solved to generate orthogonal basis functions, enforcing implicit regularization thanks to the desirable properties of SLT. These basis functions are linearly combined to construct the DSL approximator. Both the vector field and basis functions are parameterized by neural networks and learned jointly. We demonstrate that the DSL formulation naturally arises when solving a Rank-1 Parabolic Eigenvalue Problem. DSL is trained efficiently using stochastic gradient descent via implicit differentiation. DSL achieves competitive performance and demonstrate improved sample efficiency on diverse multivariate datasets including high-dimensional image datasets such as MNIST and CIFAR-10.
• Abstract（参考訳）: ANN(Artificial Neural Networks)は様々なタスクで大きな成功を収めてきたが、それでも限定的な一般化に悩まされている。 本稿では,Sturm-Liouville Theorem (SLT) を深層学習フレームワークに統合することにより,入力空間内のフィールド線に沿って連続的な 1D 正規化を可能にする新しい関数近似器である \textit{Deep Sturm-Liouville} (DSL) を導入する。 これらの基底関数は、DSL近似器を構築するために線形に結合される。 ベクトル場と基底関数は、ニューラルネットワークによってパラメータ化され、共同で学習される。 我々は、ランク1パラボリック固有値問題の解法において、DSLの定式化が自然に発生することを実証する。 DSLは、暗黙の微分を通じて確率勾配降下を用いて効率的に訓練される。 DSLは、MNISTやCIFAR-10のような高次元画像データセットを含む多変量データセットにおいて、競争性能を達成し、サンプル効率を向上させる。

関連論文リスト

• LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
  本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。 提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。 提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:20:14Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Compelling ReLU Networks to Exhibit Exponentially Many Linear Regions at Initialization and During Training [1.7205106391379021]
  ReLULUアクティベーションを持つニューラルネットワークでは、出力中の断片的線形領域の数は、深さとともに指数関数的に増加する。 トレーニングを通じて,ネットワークの重みをその領域に制限する,ネットワークの新たなパラメータ化を導入する。 このアプローチにより、無作為な凸凸関数よりも数桁精度が高い凸凸関数の近似を学習することができる。
  論文  参考訳（メタデータ） (2023-11-29T19:09:48Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Lipschitz constant estimation for 1D convolutional neural networks [0.0]
  本稿では,1次元畳み込みニューラルネットワーク(CNN)のリプシッツ定数推定法を提案する。 特に, 畳み込み層, プール層および完全連結層の分散特性を解析した。
  論文  参考訳（メタデータ） (2022-11-28T12:09:06Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
  ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。 従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
  論文  参考訳（メタデータ） (2022-02-16T21:24:54Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Lightweight Convolutional Neural Networks By Hypercomplex Parameterization [10.420215908252425]
  超複素畳み込み層のパラメータ化を定義し、軽量で効率的な大規模畳み込みモデルを開発する。 提案手法は,データから直接,畳み込みルールとフィルタ組織を把握している。 様々な画像データセットとオーディオデータセットで実験を行うことにより、このアプローチの複数のドメインに対する汎用性を実証する。
  論文  参考訳（メタデータ） (2021-10-08T14:57:19Z)
• Skew Orthogonal Convolutions [44.053067014796596]
  Lipschitzの制約付き畳み込みニューラルネットワークを$l_2$ノルムでトレーニングすることは、証明可能な対逆ロバスト性、解釈可能な勾配、安定したトレーニングなどに有用である。 Methodabvは、従来の作業よりもはるかに高速な大きな畳み込みニューラルネットワークであるLipschitzのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-05-24T17:11:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。