論文の概要: Robust Deep Network Learning of Nonlinear Regression Tasks by Parametric Leaky Exponential Linear Units (LELUs) and a Diffusion Metric

• arxiv url: http://arxiv.org/abs/2507.06765v1
• Date: Wed, 09 Jul 2025 11:49:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.569544
• Title: Robust Deep Network Learning of Nonlinear Regression Tasks by Parametric Leaky Exponential Linear Units (LELUs) and a Diffusion Metric
• Title（参考訳）: パラメトリック漏洩指数線形ユニット(LELU)と拡散距離による非線形回帰タスクのロバスト深部学習
• Authors: Enda D. V. Bigarella,
• Abstract要約: 非線形データセットの学習には 非線形acfが必須です ELUやSiLUのようなスムースだが、徐々に変化するアクセルは、性能が限られている。 RELUやLeaky-RELUのような非滑らかなAc.f.は、訓練されたモデルに不連続を付与する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This document proposes a parametric activation function (ac.f.) aimed at improving multidimensional nonlinear data regression. It is a established knowledge that nonlinear ac.f.'s are required for learning nonlinear datasets. This work shows that smoothness and gradient properties of the ac.f. further impact the performance of large neural networks in terms of overfitting and sensitivity to model parameters. Smooth but vanishing-gradient ac.f.'s such as ELU or SiLU have limited performance and non-smooth ac.f.'s such as RELU and Leaky-RELU further impart discontinuity in the trained model. Improved performance is demonstrated with a smooth "Leaky Exponential Linear Unit", with non-zero gradient that can be trained. A novel diffusion-loss metric is also proposed to gauge the performance of the trained models in terms of overfitting.
• Abstract（参考訳）: 本論文は多次元非線形データ回帰を改善することを目的としたパラメトリックアクティベーション関数(ac.f.)を提案する。 非線形データセットの学習には非線形ac.f.'sが必要であるという確固たる知識である。 この研究は ac.f の滑らかさと勾配性を示している。 モデルパラメータへの過度な適合と感度の観点から、大規模ニューラルネットワークのパフォーマンスにさらに影響を与える。 ELU(英語版)やSiLU(英語版)のようなスムースだが消失する段階的なAC.f.は限られた性能を持ち、RELU(英語版)やLeaky-RELU(英語版)のような非スムースAC.f.は、訓練されたモデルにおいてさらに不連続性を与える。 改良された性能はスムーズな"Leaky Exponential Linear Unit"で実証され、非ゼロ勾配でトレーニングすることができる。 オーバーフィッティングの観点からトレーニングされたモデルの性能を評価するために、新しい拡散損失計量も提案されている。

関連論文リスト

• Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
  非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。 本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
  論文  参考訳（メタデータ） (2023-10-02T17:42:01Z)
• Optimal Nonlinearities Improve Generalization Performance of Random Features [0.9790236766474201]
  非線形活性化関数を持つランダム特徴モデルは、訓練および一般化誤差の観点からガウスモデルと実演的に等価であることが示されている。 ガウスモデルから取得したパラメータが最適非線形性の集合を定義できることを示す。 最適化された非線形性はReLUのような広く使われている非線形関数よりも優れた一般化性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-28T20:55:21Z)
• Data-driven Nonlinear Parametric Model Order Reduction Framework using Deep Hierarchical Variational Autoencoder [5.521324490427243]
  深層ニューラルネットワークを用いたデータ駆動パラメトリックモデルオーダー削減(MOR)手法を提案する。 LSH-VAEは、非線形力学系のパラメトリックに対して、かなりの数の自由度で非線形MORを実行することができる。
  論文  参考訳（メタデータ） (2023-07-10T02:44:53Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Linear Stability Hypothesis and Rank Stratification for Nonlinear Models [3.0041514772139166]
  モデルランクを「パラメータの有効サイズ」として発見するための一般非線形モデルのためのランク階層化を提案する。 これらの結果から、目標関数のモデルランクは、その回復を成功させるために、最小限のトレーニングデータサイズを予測する。
  論文  参考訳（メタデータ） (2022-11-21T16:27:25Z)
• Non-linear manifold ROM with Convolutional Autoencoders and Reduced Over-Collocation method [0.0]
  非アフィンパラメトリックな依存、非線形性、興味のモデルにおける対流支配的な規則は、ゆっくりとしたコルモゴロフ n-幅の崩壊をもたらす。 我々は,Carlbergらによって導入された非線形多様体法を,オーバーコロケーションの削減とデコーダの教師/学生による学習により実現した。 本研究では,2次元非線形保存法と2次元浅水モデルを用いて方法論を検証し,時間とともに動的に進化する純粋データ駆動型手法と長期記憶ネットワークとの比較を行った。
  論文  参考訳（メタデータ） (2022-03-01T11:16:50Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。