論文の概要: Hyperplane bounds for neural feature mappings
- arxiv url: http://arxiv.org/abs/2201.05799v1
- Date: Sat, 15 Jan 2022 09:11:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-22 12:38:34.565609
- Title: Hyperplane bounds for neural feature mappings
- Title(参考訳): ニューラル特徴写像のための超平面境界
- Authors: Antonio Jimeno Yepes
- Abstract要約: 深層学習法は、クロスエントロピー損失のような損失関数を用いて経験的リスクを最小化する。
学習関数の一般化は、トレーニングデータのパフォーマンス、関数のVapnik-Chervonenkis(VC)次元、トレーニング例の数に依存する。
本研究では,本手法を用いた場合,トレーニングセットのサイズが小さい場合の性能が向上することが確認された。
- 参考スコア(独自算出の注目度): 4.518012967046983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning methods minimise the empirical risk using loss functions such
as the cross entropy loss. When minimising the empirical risk, the
generalisation of the learnt function still depends on the performance on the
training data, the Vapnik-Chervonenkis(VC)-dimension of the function and the
number of training examples. Neural networks have a large number of parameters,
which correlates with their VC-dimension that is typically large but not
infinite, and typically a large number of training instances are needed to
effectively train them.
In this work, we explore how to optimize feature mappings using neural
network with the intention to reduce the effective VC-dimension of the
hyperplane found in the space generated by the mapping. An interpretation of
the results of this study is that it is possible to define a loss that controls
the VC-dimension of the separating hyperplane. We evaluate this approach and
observe that the performance when using this method improves when the size of
the training set is small.
- Abstract(参考訳): 深層学習法はクロスエントロピー損失のような損失関数を用いて経験的リスクを最小化する。
経験的リスクを最小化する場合、学習関数の一般化は、依然としてトレーニングデータ、vapnik-chervonenkis(vc)-dimension of the function and the number of training examples の性能に依存する。
ニューラルネットワークには多数のパラメータがあり、これは典型的には大きすぎるが無限ではないVC次元と相関しており、効果的にトレーニングするためには多数のトレーニングインスタンスが必要である。
本研究では, ニューラルネットワークを用いた特徴マッピングの最適化について, マッピングによって生成された空間内の超平面のVC次元を効果的に削減する目的で検討する。
この研究の結果の解釈として、分離された超平面のVC次元を制御する損失を定義することができる。
このアプローチを評価し,トレーニングセットのサイズが小さい場合に,この手法を用いた場合の性能が向上することを確認した。
関連論文リスト
- Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve
Generalization Performance of Deep Classification Models [0.0]
本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。
その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
論文 参考訳(メタデータ) (2024-03-13T10:51:38Z) - Nonparametric Classification on Low Dimensional Manifolds using
Overparameterized Convolutional Residual Networks [82.03459331544737]
非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。
我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
論文 参考訳(メタデータ) (2023-07-04T11:08:03Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳(メタデータ) (2022-07-08T18:17:06Z) - Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。
空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
論文 参考訳(メタデータ) (2022-06-24T14:26:33Z) - Deep Nonparametric Estimation of Operators between Infinite Dimensional
Spaces [41.55700086945413]
本稿では、ディープニューラルネットワークを用いたリプシッツ作用素の非パラメトリック推定について検討する。
対象作用素が低次元構造を示すという仮定の下では、トレーニングサンプルサイズが大きくなるにつれて誤差は減衰する。
この結果から,演算子推定における低次元データ構造の利用による高速化が期待できる。
論文 参考訳(メタデータ) (2022-01-01T16:33:44Z) - Visualizing High-Dimensional Trajectories on the Loss-Landscape of ANNs [15.689418447376587]
ニューラルネットワークを訓練するには、高度に非次元的な損失関数の最適化が必要である。
可視化ツールは、ANNの損失ランドスケープの鍵となる幾何学的特徴を明らかにする上で重要な役割を果たしてきた。
局所構造と大域構造の両方でSOTAを表すモダニティ低減手法を提案する。
論文 参考訳(メタデータ) (2021-01-31T16:30:50Z) - Deep Structure Learning using Feature Extraction in Trained Projection
Space [0.0]
我々は、低次元空間における畳み込みによる特徴抽出を可能にするために、Randon-transform(線形データ投影)の自己調整およびデータ依存バージョンを用いてネットワークアーキテクチャを導入する。
PiNetという名前のフレームワークは、エンドツーエンドでトレーニングでき、ボリュームセグメンテーションタスクで有望なパフォーマンスを示す。
論文 参考訳(メタデータ) (2020-09-01T12:16:55Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳(メタデータ) (2020-08-28T04:29:54Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。