論文の概要: Hyperplane bounds for neural feature mappings

• arxiv url: http://arxiv.org/abs/2201.05799v1
• Date: Sat, 15 Jan 2022 09:11:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-22 12:38:34.565609
• Title: Hyperplane bounds for neural feature mappings
• Title（参考訳）: ニューラル特徴写像のための超平面境界
• Authors: Antonio Jimeno Yepes
• Abstract要約: 深層学習法は、クロスエントロピー損失のような損失関数を用いて経験的リスクを最小化する。 学習関数の一般化は、トレーニングデータのパフォーマンス、関数のVapnik-Chervonenkis(VC)次元、トレーニング例の数に依存する。 本研究では,本手法を用いた場合,トレーニングセットのサイズが小さい場合の性能が向上することが確認された。
• 参考スコア（独自算出の注目度）: 4.518012967046983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning methods minimise the empirical risk using loss functions such as the cross entropy loss. When minimising the empirical risk, the generalisation of the learnt function still depends on the performance on the training data, the Vapnik-Chervonenkis(VC)-dimension of the function and the number of training examples. Neural networks have a large number of parameters, which correlates with their VC-dimension that is typically large but not infinite, and typically a large number of training instances are needed to effectively train them. In this work, we explore how to optimize feature mappings using neural network with the intention to reduce the effective VC-dimension of the hyperplane found in the space generated by the mapping. An interpretation of the results of this study is that it is possible to define a loss that controls the VC-dimension of the separating hyperplane. We evaluate this approach and observe that the performance when using this method improves when the size of the training set is small.
• Abstract（参考訳）: 深層学習法はクロスエントロピー損失のような損失関数を用いて経験的リスクを最小化する。 経験的リスクを最小化する場合、学習関数の一般化は、依然としてトレーニングデータ、vapnik-chervonenkis(vc)-dimension of the function and the number of training examples の性能に依存する。 ニューラルネットワークには多数のパラメータがあり、これは典型的には大きすぎるが無限ではないVC次元と相関しており、効果的にトレーニングするためには多数のトレーニングインスタンスが必要である。 本研究では, ニューラルネットワークを用いた特徴マッピングの最適化について, マッピングによって生成された空間内の超平面のVC次元を効果的に削減する目的で検討する。 この研究の結果の解釈として、分離された超平面のVC次元を制御する損失を定義することができる。 このアプローチを評価し,トレーニングセットのサイズが小さい場合に,この手法を用いた場合の性能が向上することを確認した。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Minimizing Chebyshev Prototype Risk Magically Mitigates the Perils of Overfitting [1.6574413179773757]
  クラス内特徴相関を低減し,クラス間特徴距離を最大化する多成分損失関数を開発した。 我々は,Chebyshev Prototype Risk (CPR) という用語を明示的なCPR損失関数に限定して実装する。 トレーニングアルゴリズムは、多くの設定において、以前のアプローチの過度な適合を減らし、改善する。
  論文  参考訳（メタデータ） (2024-04-10T15:16:04Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve Generalization Performance of Deep Classification Models [0.0]
  本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。 その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
  論文  参考訳（メタデータ） (2024-03-13T10:51:38Z)
• Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [82.03459331544737]
  非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
  論文  参考訳（メタデータ） (2023-07-04T11:08:03Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• Deep Nonparametric Estimation of Operators between Infinite Dimensional Spaces [41.55700086945413]
  本稿では、ディープニューラルネットワークを用いたリプシッツ作用素の非パラメトリック推定について検討する。 対象作用素が低次元構造を示すという仮定の下では、トレーニングサンプルサイズが大きくなるにつれて誤差は減衰する。 この結果から,演算子推定における低次元データ構造の利用による高速化が期待できる。
  論文  参考訳（メタデータ） (2022-01-01T16:33:44Z)
• Visualizing High-Dimensional Trajectories on the Loss-Landscape of ANNs [15.689418447376587]
  ニューラルネットワークを訓練するには、高度に非次元的な損失関数の最適化が必要である。 可視化ツールは、ANNの損失ランドスケープの鍵となる幾何学的特徴を明らかにする上で重要な役割を果たしてきた。 局所構造と大域構造の両方でSOTAを表すモダニティ低減手法を提案する。
  論文  参考訳（メタデータ） (2021-01-31T16:30:50Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。