論文の概要: Input Invex Neural Network

• arxiv url: http://arxiv.org/abs/2106.08748v4
• Date: Sat, 3 Aug 2024 16:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 01:00:27.720448
• Title: Input Invex Neural Network
• Title（参考訳）: 入力ベクトルニューラルネット
• Authors: Suman Sapkota, Binod Bhattarai,
• Abstract要約: 接続された決定境界は、イメージセグメンテーション、クラスタリング、アルファシェープ、nD空間内の領域の定義など、いくつかのタスクで有用である。 本稿では,ニューラルネットワークを用いた凸関数構築のための2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 11.072628804821083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Connected decision boundaries are useful in several tasks like image segmentation, clustering, alpha-shape or defining a region in nD-space. However, the machine learning literature lacks methods for generating connected decision boundaries using neural networks. Thresholding an invex function, a generalization of a convex function, generates such decision boundaries. This paper presents two methods for constructing invex functions using neural networks. The first approach is based on constraining a neural network with Gradient Clipped-Gradient Penality (GCGP), where we clip and penalise the gradients. In contrast, the second one is based on the relationship of the invex function to the composition of invertible and convex functions. We employ connectedness as a basic interpretation method and create connected region-based classifiers. We show that multiple connected set based classifiers can approximate any classification function. In the experiments section, we use our methods for classification tasks using an ensemble of 1-vs-all models as well as using a single multiclass model on small-scale datasets. The experiments show that connected set-based classifiers do not pose any disadvantage over ordinary neural network classifiers, but rather, enhance their interpretability. We also did an extensive study on the properties of invex function and connected sets for interpretability and network morphism with experiments on toy and real-world data sets. Our study suggests that invex function is fundamental to understanding and applying locality and connectedness of input space which is useful for various downstream tasks.
• Abstract（参考訳）: 接続された決定境界は、イメージセグメンテーション、クラスタリング、アルファシェープ、nD空間内の領域の定義など、いくつかのタスクで有用である。 しかし、機械学習の文献にはニューラルネットワークを使って接続された決定境界を生成する方法が欠けている。 凸関数を保持することは凸関数の一般化であり、そのような決定境界を生成する。 本稿では,ニューラルネットワークを用いた凸関数構築のための2つの手法を提案する。 最初のアプローチは、勾配をクリップしてペナライズするGCGP(Gradient Clipped-Gradient Penality)でニューラルネットワークを制約することに基づいている。 対照的に、後者は可逆関数と凸関数の合成との関係に基づいている。 基本解釈法として接続性を使用し、接続された領域ベースの分類器を作成する。 複数の連結集合ベース分類器が任意の分類関数を近似できることを示す。 実験では,1-vs-allモデルのアンサンブルと,小規模データセット上での単一マルチクラスモデルを用いて,タスクの分類を行う。 実験により、接続された集合ベースの分類器は通常のニューラルネットワーク分類器よりも不利ではなく、解釈可能性を高めることが示された。 また,インベックス関数と連結集合の解釈可能性およびネットワーク準同型に関する広範な研究を行い,玩具および実世界のデータセットの実験を行った。 本研究は, 入力空間の局所性と連結性を理解し, 適用するためには, インベックス関数が重要であることを示唆する。

関連論文リスト

• Linking in Style: Understanding learned features in deep learning models [0.0]
  畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。 本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:28:48Z)
• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• Classification with neural networks with quadratic decision functions [1.8720794335381465]
  本稿では,2次決定関数を持つニューラルネットワークの分類への応用について検討する。 特に、手書き桁の分類のためのMNISTデータセット上で、アルゴリズムを検証、比較する。 実装は,それぞれ,ソフトウェアフローとKerasのニューラルネットワーク構造に基づいて行うことができることを示す。
  論文  参考訳（メタデータ） (2024-01-19T14:18:32Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。