Fugu-MT 論文翻訳(概要): Deep Learning with Nonsmooth Objectives

論文の概要: Deep Learning with Nonsmooth Objectives

arxiv url: http://arxiv.org/abs/2107.08800v1
Date: Wed, 14 Jul 2021 02:01:53 GMT
ステータス: 処理完了
システム内更新日: 2021-07-25 11:58:45.542502
Title: Deep Learning with Nonsmooth Objectives
Title（参考訳）: 非平滑な目的による深層学習
Authors: Vinesha Peiris, Nadezda Sukhorukova, Vera Roshchina
Abstract要約: 人工ニューラルネットワークのトレーニングにおける最大ノルムに基づく非滑らかな損失関数の利用の可能性を探る。トレーニングデータが非常に小さいか、バランスの取れていない特別な場合において、このことが優れた分類結果をもたらす可能性があると推測する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We explore the potential for using a nonsmooth loss function based on the max-norm in the training of an artificial neural network. We hypothesise that this may lead to superior classification results in some special cases where the training data is either very small or unbalanced. Our numerical experiments performed on a simple artificial neural network with no hidden layers (a setting immediately amenable to standard nonsmooth optimisation techniques) appear to confirm our hypothesis that uniform approximation based approaches may be more suitable for the datasets with reliable training data that either is limited size or biased in terms of relative cluster sizes.
Abstract（参考訳）: 人工ニューラルネットワークのトレーニングにおける最大ノルムに基づく非滑らかな損失関数の利用の可能性を検討する。これは、訓練データが非常に小さいか不均衡な場合において、より優れた分類結果をもたらす可能性があると仮定する。隠れレイヤのない単純なニューラルネットワーク(標準非滑らかな最適化技術にすぐに適応できる設定)で行った数値実験は、一様近似に基づくアプローチが、相対的なクラスタサイズで制限された、あるいは偏りのある、信頼できるトレーニングデータを持つデータセットにもっと適している、という仮説を裏付けているように思われる。

関連論文リスト

Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文参考訳（メタデータ） (2024-06-17T12:24:45Z)
An unfolding method based on conditional Invertible Neural Networks (cINN) using iterative training [0.0]
非可逆ニューラルネットワーク(INN)のような生成ネットワークは確率的展開を可能にする。模擬トレーニングサンプルとデータ間のずれを調整した展開のための反復条件INN(IcINN)を導入する。
論文参考訳（メタデータ） (2022-12-16T19:00:05Z)
Precision Machine Learning [5.15188009671301]
様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
論文参考訳（メタデータ） (2022-10-24T17:58:30Z)
Prototype-Anchored Learning for Learning with Imperfect Annotations [83.7763875464011]
不完全な注釈付きデータセットからバイアスのない分類モデルを学ぶことは困難である。本稿では,様々な学習に基づく分類手法に容易に組み込むことができるプロトタイプ・アンコレッド学習法を提案する。我々は,PALがクラス不均衡学習および耐雑音学習に与える影響を,合成および実世界のデータセットに関する広範な実験により検証した。
論文参考訳（メタデータ） (2022-06-23T10:25:37Z)
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
論文参考訳（メタデータ） (2022-05-31T13:32:55Z)
Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
論文参考訳（メタデータ） (2022-02-11T23:04:00Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文参考訳（メタデータ） (2021-04-11T09:50:24Z)
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文参考訳（メタデータ） (2021-02-23T18:17:47Z)
Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文参考訳（メタデータ） (2020-12-03T10:17:30Z)
Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文参考訳（メタデータ） (2020-11-25T14:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。