論文の概要: Smooth Monotonic Networks

• arxiv url: http://arxiv.org/abs/2306.01147v2
• Date: Tue, 11 Jul 2023 11:33:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 18:08:05.302575
• Title: Smooth Monotonic Networks
• Title（参考訳）: 滑らかな単調ネットワーク
• Authors: Christian Igel
• Abstract要約: min-max(MM)ニューラルネットワークアーキテクチャは、単調性を保証するが、勾配が消えるため、トレーニング中に望ましくない局所最適状態に陥ることが多い。 本稿では,この問題を緩和するスムーズな非線形性を用いたMMネットワークの簡易な修正を提案する。 結果として生じるスムーズなmin-max(SMM)ネットワークモジュールは、MMアーキテクチャからプロパティを継承する。
• 参考スコア（独自算出の注目度）: 13.452510519858992
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Monotonicity constraints are powerful regularizers in statistical modelling. They can support fairness in computer supported decision making and increase plausibility in data-driven scientific models. The seminal min-max (MM) neural network architecture ensures monotonicity, but often gets stuck in undesired local optima during training because of vanishing gradients. We propose a simple modification of the MM network using strictly-increasing smooth non-linearities that alleviates this problem. The resulting smooth min-max (SMM) network module inherits the asymptotic approximation properties from the MM architecture. It can be used within larger deep learning systems trained end-to-end. The SMM module is considerably simpler and less computationally demanding than state-of-the-art neural networks for monotonic modelling. Still, in our experiments, it compared favorably to alternative neural and non-neural approaches in terms of generalization performance.
• Abstract（参考訳）: 単調性制約は統計モデリングにおける強力な正則化器である。 コンピュータが支援する意思決定の公平性をサポートし、データ駆動科学モデルにおける可能性を高めることができる。 セミナル min-max (MM) ニューラルネットワークアーキテクチャは、単調性を保証するが、勾配が消えるため、トレーニング中に望ましくない局所最適状態に陥ることがしばしばある。 本稿では,この問題を緩和するスムーズな非線形性を用いたMMネットワークの簡易な修正を提案する。 結果として生じるスムーズなmin-max(SMM)ネットワークモジュールは、MMアーキテクチャから漸近近似特性を継承する。 エンドツーエンドでトレーニングされた大規模なディープラーニングシステムで使用することができる。 SMMモジュールは、モノトニックモデリングのための最先端のニューラルネットワークよりもはるかにシンプルで、計算量も少ない。 それでも我々の実験では、一般化性能の観点からは、代替神経および非神経アプローチに好適な比較を行いました。

関連論文リスト

• Beyond Closure Models: Learning Chaotic-Systems via Physics-Informed Neural Operators [78.64101336150419]
  カオスシステムの長期的挙動を予測することは、気候モデリングなどの様々な応用に不可欠である。 このような完全解法シミュレーションに対する別のアプローチは、粗いグリッドを使用して、時間テキストモデルによってエラーを修正することである。 この制限を克服する物理インフォームド・ニューラル演算子(PINO)を用いたエンド・ツー・エンドの学習手法を提案する。
  論文  参考訳（メタデータ） (2024-08-09T17:05:45Z)
• A Neural-Network-Based Approach for Loose-Fitting Clothing [2.910739621411222]
  本稿では, リアルタイム数値アルゴリズムを用いて, ゆるやかな衣服の動的モードを近似する方法を示す。 また,スキンを用いて望ましいメッシュに粗い近似を再構築する。 大量のトレーニングデータを必要とするリカレントニューラルネットワークとは対照的に、QNNはトレーニングデータを大幅に少なくする。
  論文  参考訳（メタデータ） (2024-04-25T05:52:20Z)
• A foundation for exact binarized morphological neural networks [2.8925699537310137]
  ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。 計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。 本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-08T11:37:44Z)
• Better Neural PDE Solvers Through Data-Free Mesh Movers [13.013830215107735]
  我々は、移動メッシュを2分岐アーキテクチャに組み込む移動メッシュベースのニューラルPDEソルバ(MM-PDE)を開発した。 提案手法は,広く検討されているPDEシステムにおいて,適切なメッシュを生成し,精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-12-09T14:05:28Z)
• Soft Merging: A Flexible and Robust Soft Model Merging Approach for Enhanced Neural Network Performance [6.599368083393398]
  グラディエント(SGD)はしばしばモデル性能を改善するために局所最適化を収束させることに制限される。 エム・ソフト・マージング法は、望ましくない結果で得られた局所最適モデルを最小化する。 実験は、統合されたネットワークの有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-09-21T17:07:31Z)
• MISNN: Multiple Imputation via Semi-parametric Neural Networks [9.594714330925703]
  バイオメディカル・ソーシャル・エコノメトリー研究において、多重計算(Multiple Imputation, MI)は、欠落した価値問題に広く応用されている。 提案するMISNNは,MIの特徴選択を取り入れた,新規で効率的なアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-02T21:45:36Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。