論文の概要: Input Invex Neural Network

• arxiv url: http://arxiv.org/abs/2106.08748v1
• Date: Wed, 16 Jun 2021 12:48:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:16:29.220614
• Title: Input Invex Neural Network
• Title（参考訳）: 入力ベクトルニューラルネット
• Authors: Suman Sapkota and Binod Bhattarai
• Abstract要約: 本稿では,ニューラルネットワーク(NN)における不連続性を抑制する新しい手法を提案する。 凸函数は、すべての定常点が大域ミニマであることを保証する。 提案手法は,線形NNと入力凸ニューラルネット(ICNN)の性能を高いマージンで向上させる。
• 参考スコア（独自算出の注目度）: 9.31522898261934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a novel method to constrain invexity on Neural Networks (NN). Invex functions ensure every stationary point is global minima. Hence, gradient descent commenced from any point will lead to the global minima. Another advantage of invexity on NN is to divide data space locally into two connected sets with a highly non-linear decision boundary by simply thresholding the output. To this end, we formulate a universal invex function approximator and employ it to enforce invexity in NN. We call it Input Invex Neural Networks (II-NN). We first fit data with a known invex function, followed by modification with a NN, compare the direction of the gradient and penalize the direction of gradient on NN if it contradicts with the direction of reference invex function. In order to penalize the direction of the gradient we perform Gradient Clipped Gradient Penalty (GC-GP). We applied our method to the existing NNs for both image classification and regression tasks. From the extensive empirical and qualitative experiments, we observe that our method gives the performance similar to ordinary NN yet having invexity. Our method outperforms linear NN and Input Convex Neural Network (ICNN) with a large margin. We publish our code and implementation details at github.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク(NN)における不凸性を抑制する新しい手法を提案する。 invex関数はすべての定常点がグローバルミニマであることを保証する。 したがって、任意の点から勾配降下が始まり、大域最小化につながる。 NNにおける不凸性のもう1つの利点は、単に出力を閾値付けすることで、データ空間を高度に非線形な決定境界を持つ2つの連結集合に局所的に分割することである。 この目的のためにユニバーサル・インベックス関数近似子を定式化し、それを用いてnnのインベキシティを強制する。 入力Invex Neural Networks (II-NN) と呼ぶ。 まず, 既知のインベックス関数をデータに適合させ, 次にnnを修飾し, 勾配の方向を比較し, 基準インベックス関数の方向と矛盾する場合, nn上の勾配の方向をペナライズする。 勾配方向をペナルティ化するために、勾配クリップド勾配ペナルティ(gc-gp)を行う。 本手法を既存のNNに適用し,画像分類と回帰処理を行った。 広範な実験および定性実験から,本手法が通常のnnと同等の性能を与えるが,非凸性は認められないことを確認した。 本手法は,線形nnおよび入力凸ニューラルネットワーク(icnn)を大きなマージンで上回っている。 コードと実装の詳細はgithubで公開しています。

関連論文リスト

• Linking in Style: Understanding learned features in deep learning models [0.0]
  畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。 本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:28:48Z)
• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• Classification with neural networks with quadratic decision functions [1.8720794335381465]
  本稿では,2次決定関数を持つニューラルネットワークの分類への応用について検討する。 特に、手書き桁の分類のためのMNISTデータセット上で、アルゴリズムを検証、比較する。 実装は,それぞれ,ソフトウェアフローとKerasのニューラルネットワーク構造に基づいて行うことができることを示す。
  論文  参考訳（メタデータ） (2024-01-19T14:18:32Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。