論文の概要: Input Invex Neural Network
- arxiv url: http://arxiv.org/abs/2106.08748v1
- Date: Wed, 16 Jun 2021 12:48:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 17:16:29.220614
- Title: Input Invex Neural Network
- Title(参考訳): 入力ベクトルニューラルネット
- Authors: Suman Sapkota and Binod Bhattarai
- Abstract要約: 本稿では,ニューラルネットワーク(NN)における不連続性を抑制する新しい手法を提案する。
凸函数は、すべての定常点が大域ミニマであることを保証する。
提案手法は,線形NNと入力凸ニューラルネット(ICNN)の性能を高いマージンで向上させる。
- 参考スコア(独自算出の注目度): 9.31522898261934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a novel method to constrain invexity on Neural
Networks (NN). Invex functions ensure every stationary point is global minima.
Hence, gradient descent commenced from any point will lead to the global
minima. Another advantage of invexity on NN is to divide data space locally
into two connected sets with a highly non-linear decision boundary by simply
thresholding the output. To this end, we formulate a universal invex function
approximator and employ it to enforce invexity in NN. We call it Input Invex
Neural Networks (II-NN). We first fit data with a known invex function,
followed by modification with a NN, compare the direction of the gradient and
penalize the direction of gradient on NN if it contradicts with the direction
of reference invex function. In order to penalize the direction of the gradient
we perform Gradient Clipped Gradient Penalty (GC-GP). We applied our method to
the existing NNs for both image classification and regression tasks. From the
extensive empirical and qualitative experiments, we observe that our method
gives the performance similar to ordinary NN yet having invexity. Our method
outperforms linear NN and Input Convex Neural Network (ICNN) with a large
margin. We publish our code and implementation details at github.
- Abstract(参考訳): 本稿では,ニューラルネットワーク(NN)における不凸性を抑制する新しい手法を提案する。
invex関数はすべての定常点がグローバルミニマであることを保証する。
したがって、任意の点から勾配降下が始まり、大域最小化につながる。
NNにおける不凸性のもう1つの利点は、単に出力を閾値付けすることで、データ空間を高度に非線形な決定境界を持つ2つの連結集合に局所的に分割することである。
この目的のためにユニバーサル・インベックス関数近似子を定式化し、それを用いてnnのインベキシティを強制する。
入力Invex Neural Networks (II-NN) と呼ぶ。
まず, 既知のインベックス関数をデータに適合させ, 次にnnを修飾し, 勾配の方向を比較し, 基準インベックス関数の方向と矛盾する場合, nn上の勾配の方向をペナライズする。
勾配方向をペナルティ化するために、勾配クリップド勾配ペナルティ(gc-gp)を行う。
本手法を既存のNNに適用し,画像分類と回帰処理を行った。
広範な実験および定性実験から,本手法が通常のnnと同等の性能を与えるが,非凸性は認められないことを確認した。
本手法は,線形nnおよび入力凸ニューラルネットワーク(icnn)を大きなマージンで上回っている。
コードと実装の詳細はgithubで公開しています。
関連論文リスト
- Neural Networks for Singular Perturbations [0.0]
特異摂動楕円型二点境界値問題のモデルクラスの解集合に対する表現率境界を証明した。
我々は, NNサイズの観点から, ソボレフノルムの表現速度境界を定めている。
論文 参考訳(メタデータ) (2024-01-12T16:02:18Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳(メタデータ) (2022-10-13T15:09:54Z) - Graph Neural Network Bandits [89.31889875864599]
グラフ構造データ上で定義された報酬関数を用いた帯域最適化問題を考察する。
この設定の主な課題は、大きなドメインへのスケーリングと、多くのノードを持つグラフへのスケーリングである。
グラフニューラルネットワーク(GNN)を用いて報酬関数を推定できることを示す。
論文 参考訳(メタデータ) (2022-07-13T18:12:36Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳(メタデータ) (2022-02-13T10:54:59Z) - Disentangling deep neural networks with rectified linear units using
duality [4.683806391173103]
線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。
我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
論文 参考訳(メタデータ) (2021-10-06T16:51:59Z) - Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。
本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。
パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
論文 参考訳(メタデータ) (2021-06-11T00:34:55Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳(メタデータ) (2020-12-10T22:30:25Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - Predicting the outputs of finite deep neural networks trained with noisy
gradients [1.1470070927586014]
広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ
本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。
その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
論文 参考訳(メタデータ) (2020-04-02T18:00:01Z) - Why Learning of Large-Scale Neural Networks Behaves Like Convex
Optimization [6.852561400929072]
非スケール最適化問題の解法として単純な勾配降下法が成功した理由を説明するための理論的研究について述べる。
NN学習の目的関数が標準モデル空間の凸であることを示す。
論文 参考訳(メタデータ) (2019-03-06T02:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。