論文の概要: Input Invex Neural Network
- arxiv url: http://arxiv.org/abs/2106.08748v4
- Date: Sat, 3 Aug 2024 16:36:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 01:00:27.720448
- Title: Input Invex Neural Network
- Title(参考訳): 入力ベクトルニューラルネット
- Authors: Suman Sapkota, Binod Bhattarai,
- Abstract要約: 接続された決定境界は、イメージセグメンテーション、クラスタリング、アルファシェープ、nD空間内の領域の定義など、いくつかのタスクで有用である。
本稿では,ニューラルネットワークを用いた凸関数構築のための2つの手法を提案する。
- 参考スコア(独自算出の注目度): 11.072628804821083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Connected decision boundaries are useful in several tasks like image segmentation, clustering, alpha-shape or defining a region in nD-space. However, the machine learning literature lacks methods for generating connected decision boundaries using neural networks. Thresholding an invex function, a generalization of a convex function, generates such decision boundaries. This paper presents two methods for constructing invex functions using neural networks. The first approach is based on constraining a neural network with Gradient Clipped-Gradient Penality (GCGP), where we clip and penalise the gradients. In contrast, the second one is based on the relationship of the invex function to the composition of invertible and convex functions. We employ connectedness as a basic interpretation method and create connected region-based classifiers. We show that multiple connected set based classifiers can approximate any classification function. In the experiments section, we use our methods for classification tasks using an ensemble of 1-vs-all models as well as using a single multiclass model on small-scale datasets. The experiments show that connected set-based classifiers do not pose any disadvantage over ordinary neural network classifiers, but rather, enhance their interpretability. We also did an extensive study on the properties of invex function and connected sets for interpretability and network morphism with experiments on toy and real-world data sets. Our study suggests that invex function is fundamental to understanding and applying locality and connectedness of input space which is useful for various downstream tasks.
- Abstract(参考訳): 接続された決定境界は、イメージセグメンテーション、クラスタリング、アルファシェープ、nD空間内の領域の定義など、いくつかのタスクで有用である。
しかし、機械学習の文献にはニューラルネットワークを使って接続された決定境界を生成する方法が欠けている。
凸関数を保持することは凸関数の一般化であり、そのような決定境界を生成する。
本稿では,ニューラルネットワークを用いた凸関数構築のための2つの手法を提案する。
最初のアプローチは、勾配をクリップしてペナライズするGCGP(Gradient Clipped-Gradient Penality)でニューラルネットワークを制約することに基づいている。
対照的に、後者は可逆関数と凸関数の合成との関係に基づいている。
基本解釈法として接続性を使用し、接続された領域ベースの分類器を作成する。
複数の連結集合ベース分類器が任意の分類関数を近似できることを示す。
実験では,1-vs-allモデルのアンサンブルと,小規模データセット上での単一マルチクラスモデルを用いて,タスクの分類を行う。
実験により、接続された集合ベースの分類器は通常のニューラルネットワーク分類器よりも不利ではなく、解釈可能性を高めることが示された。
また,インベックス関数と連結集合の解釈可能性およびネットワーク準同型に関する広範な研究を行い,玩具および実世界のデータセットの実験を行った。
本研究は, 入力空間の局所性と連結性を理解し, 適用するためには, インベックス関数が重要であることを示唆する。
関連論文リスト
- Forward Learning of Graph Neural Networks [17.79590285482424]
バックプロパゲーション(BP)はディープニューラルネットワーク(NN)のトレーニングにおけるデファクトスタンダードである
BPは、生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性を制限しているいくつかの制約を課している。
本稿では,BPの制約を回避するために,実効的なレイヤワイドローカルフォワードトレーニングを行うForwardGNNを提案する。
論文 参考訳(メタデータ) (2024-03-16T19:40:35Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳(メタデータ) (2022-10-13T15:09:54Z) - Graph Neural Network Bandits [89.31889875864599]
グラフ構造データ上で定義された報酬関数を用いた帯域最適化問題を考察する。
この設定の主な課題は、大きなドメインへのスケーリングと、多くのノードを持つグラフへのスケーリングである。
グラフニューラルネットワーク(GNN)を用いて報酬関数を推定できることを示す。
論文 参考訳(メタデータ) (2022-07-13T18:12:36Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive? [16.105097124039602]
古典的非パラメトリック回帰問題のレンズからニューラルネットワーク(NN)の理論を研究する。
私たちの研究は、なぜ深さが重要なのか、そしてNNがカーネルメソッドよりも強力であるかについて、新たな光を当てています。
論文 参考訳(メタデータ) (2022-04-20T17:55:16Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳(メタデータ) (2022-02-13T10:54:59Z) - Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。
本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。
パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
論文 参考訳(メタデータ) (2021-06-11T00:34:55Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳(メタデータ) (2020-12-10T22:30:25Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - Predicting the outputs of finite deep neural networks trained with noisy
gradients [1.1470070927586014]
広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ
本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。
その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
論文 参考訳(メタデータ) (2020-04-02T18:00:01Z) - Why Learning of Large-Scale Neural Networks Behaves Like Convex
Optimization [6.852561400929072]
非スケール最適化問題の解法として単純な勾配降下法が成功した理由を説明するための理論的研究について述べる。
NN学習の目的関数が標準モデル空間の凸であることを示す。
論文 参考訳(メタデータ) (2019-03-06T02:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。