論文の概要: Constrained Monotonic Neural Networks

• arxiv url: http://arxiv.org/abs/2205.11775v1
• Date: Tue, 24 May 2022 04:26:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 12:52:17.544840
• Title: Constrained Monotonic Neural Networks
• Title（参考訳）: 制約付き単調ニューラルネットワーク
• Authors: Davor Runje, Sharath M. Shankaranarayana
• Abstract要約: モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。 モノトニック完全連結ニューラルネットワークを構築する最も古い方法の1つは、その重みを非負に制限することである。 この構造は, 層内のニューロンの一部に対して, 元の活性化関数を用いることで, 固定可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.685316573653194
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks are becoming increasingly popular in approximating arbitrary functions from noisy data. But wider adoption is being hindered by the need to explain such models and to impose additional constraints on them. Monotonicity constraint is one of the most requested properties in real-world scenarios and is the focus of this paper. One of the oldest ways to construct a monotonic fully connected neural network is to constrain its weights to be non-negative while employing a monotonic activation function. Unfortunately, this construction does not work with popular non-saturated activation functions such as ReLU, ELU, SELU etc, as it can only approximate convex functions. We show this shortcoming can be fixed by employing the original activation function for a part of the neurons in the layer, and employing its point reflection for the other part. Our experiments show this approach of building monotonic deep neural networks have matching or better accuracy when compared to other state-of-the-art methods such as deep lattice networks or monotonic networks obtained by heuristic regularization. This method is the simplest one in the sense of having the least number of parameters, not requiring any modifications to the learning procedure or steps post-learning steps.
• Abstract（参考訳）: ノイズの多いデータから任意の関数を近似することで、ディープニューラルネットワークはますます人気が高まっている。 しかし、そのようなモデルを説明し、追加の制約を課す必要性によって、より広範な採用が妨げられている。 モノトニック性制約は現実シナリオにおいて最も要求される特性の1つであり,本論文の焦点となっている。 モノトニック完全連結ニューラルネットワークを構築する最も古い方法の1つは、その重みをモノトニック活性化関数を用いて非負に制限することである。 残念ながら、この構造は、近似凸関数しか持たないため、relu、elu、seluなどの一般的な不飽和活性化関数では機能しない。 この欠点は、この層内のニューロンの一部に対して元の活性化関数を使い、他の部分に対してその点反射を用いることにより解決可能であることを示す。 実験により, 単調なディープニューラルネットワークを構築する手法は, ヘーリスティック正則化によって得られるディープ格子ネットワークやモノトニックネットワークといった他の最先端手法と比較して, 整合性あるいは精度が向上することを示した。 この方法は、学習手順や学習後のステップの変更を必要とせず、パラメータ数が最小であるという意味で最も単純な方法である。

関連論文リスト

• 1-Lipschitz Neural Networks are more expressive with N-Activations [19.858602457988194]
  システムの入力に対する小さな変更は、出力に大きな変更をもたらすべきではない。 MaxMinのようなよく使われるアクティベーション関数は、不必要に表現可能な関数のクラスを制限する。 現在普及しているアクティベーション関数よりも明らかに表現力が高い新しいN-アクティベーション関数を導入する。
  論文  参考訳（メタデータ） (2023-11-10T15:12:04Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Learning a Single Neuron with Bias Using Gradient Descent [53.15475693468925]
  単一ニューロンをバイアス項で学習する基本的な問題について検討する。 これはバイアスのないケースとは大きく異なり、より難しい問題であることを示す。
  論文  参考訳（メタデータ） (2021-06-02T12:09:55Z)
• Certified Monotonic Neural Networks [15.537695725617576]
  本稿では,混合整数線形計画問題の解法により,一般のピースワイド線形ニューラルネットワークの単調性を証明することを提案する。 我々のアプローチでは、重み空間に対する人間設計の制約を必要とせず、より正確な近似が得られる。
  論文  参考訳（メタデータ） (2020-11-20T04:58:13Z)
• No one-hidden-layer neural network can represent multivariable functions [0.0]
  ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。 整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
  論文  参考訳（メタデータ） (2020-06-19T06:46:54Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Counterexample-Guided Learning of Monotonic Neural Networks [32.73558242733049]
  単調性制約に注目するが、これは一般的であり、特定の入力特徴の値が増加するにつれて関数の出力が増加することが要求される。 本研究では,予測時の単調性制約を確実に強制する逆例誘導手法を開発した。 深層学習の帰納バイアスとして単調性を用いる手法も提案する。
  論文  参考訳（メタデータ） (2020-06-16T01:04:26Z)
• On Sharpness of Error Bounds for Multivariate Neural Network Approximation [0.0]
  この論文は、このようなリッジ関数の和による最良の非線形近似を扱う。 誤差境界は滑らかさのモジュライで表される。
  論文  参考訳（メタデータ） (2020-04-05T14:00:52Z)
• Exact Hard Monotonic Attention for Character-Level Transduction [76.66797368985453]
  非単調なソフトアテンションを用いたニューラルシークエンス・ツー・シーケンスモデルは、しばしば一般的な単調モデルよりも優れていることを示す。 我々は、厳密な単調性を強制し、トランスデューサの学習中に協調して潜時アライメントを学習するハードアテンションシーケンス・ツー・シーケンス・モデルを開発した。
  論文  参考訳（メタデータ） (2019-05-15T17:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。