論文の概要: Adma: A Flexible Loss Function for Neural Networks
- arxiv url: http://arxiv.org/abs/2007.12499v1
- Date: Thu, 23 Jul 2020 02:41:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 11:38:23.087728
- Title: Adma: A Flexible Loss Function for Neural Networks
- Title（参考訳）: adma:ニューラルネットワークのための柔軟な損失関数
- Authors: Aditya Shrivastava
- Abstract要約: 私たちは、現在利用可能な損失関数が静的なプラグインではなく、デフォルトでは柔軟であるべきだという考えを思いついた。
フレキシブルな損失関数は、より高い収束率につながるニューラルネットワークのより洞察に富んだナビゲータになり得る。
ニューラルネットワークに新しいフレキシブル・ロス関数を導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Highly increased interest in Artificial Neural Networks (ANNs) have resulted
in impressively wide-ranging improvements in its structure. In this work, we
come up with the idea that instead of static plugins that the currently
available loss functions are, they should by default be flexible in nature. A
flexible loss function can be a more insightful navigator for neural networks
leading to higher convergence rates and therefore reaching the optimum accuracy
more quickly. The insights to help decide the degree of flexibility can be
derived from the complexity of ANNs, the data distribution, selection of
hyper-parameters and so on. In the wake of this, we introduce a novel flexible
loss function for neural networks. The function is shown to characterize a
range of fundamentally unique properties from which, much of the properties of
other loss functions are only a subset and varying the flexibility parameter in
the function allows it to emulate the loss curves and the learning behavior of
prevalent static loss functions. The extensive experimentation performed with
the loss function demonstrates that it is able to give state-of-the-art
performance on selected data sets. Thus, in all the idea of flexibility itself
and the proposed function built upon it carry the potential to open to a new
interesting chapter in deep learning research.
- Abstract（参考訳）: ANN(Artificial Neural Networks)への関心が高まり、その構造が大幅に改善された。
この作業では、現在利用可能な損失関数が静的なプラグインではなく、デフォルトでは柔軟であるべきだという考えが浮かび上がっています。
フレキシブル損失関数は、高い収束率につながるニューラルネットワークのより洞察力のあるナビゲータとなり、最適な精度に素早く到達することができる。
柔軟性の度合いを決定するための洞察は、ANNの複雑さ、データ分散、ハイパーパラメータの選択などから得られる。
この結果、ニューラルネットワークのフレキシブルな損失関数が導入された。
この関数は、他の損失関数の多くの特性がサブセットに過ぎず、関数の柔軟性パラメータが変化すれば、損失曲線と、一般的な静的損失関数の学習挙動をエミュレートできる、基本的なユニークな性質の範囲を特徴付けることが示される。
損失関数を用いて行った広範な実験は、選択したデータセットに対して最先端のパフォーマンスを提供できることを示す。
したがって、柔軟性そのものと、その上に構築された機能というアイデアは、ディープラーニング研究の新しい興味深い章を開く可能性を秘めている。
関連論文リスト
- High-Fidelity Transfer of Functional Priors for Wide Bayesian Neural Networks by Learning Activations [1.0468715529145969]
トレーニング可能なアクティベーションが,BNN上で複雑な関数空間にどのように対応できるかを示す。
本稿では,識別可能性,損失構成,対称性などの重要な学習課題について論じる。
実験により,単一の広層層を有するBNNであっても,高忠実度関数空間を効果的に実現できることが判明した。
論文 参考訳（メタデータ） (2024-10-21T08:42:10Z) - Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。
異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
論文 参考訳（メタデータ） (2024-10-14T16:27:03Z) - Empirical Loss Landscape Analysis of Neural Network Activation Functions [0.0]
非線型性を有効にすることで、活性化関数はニューラルネットワーク設計において重要な役割を果たす。
本研究では, 双曲的接点, 整流線形単位, 指数線型単位活性化関数に関連するニューラルネットワークの損失景観を実験的に検討した。
論文 参考訳（メタデータ） (2023-06-28T10:46:14Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - Data-Driven Learning of Feedforward Neural Networks with Different
Activation Functions [0.0]
この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
論文 参考訳（メタデータ） (2021-07-04T18:20:27Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳（メタデータ） (2020-04-08T06:55:12Z) - Rational neural networks [3.4376560669160394]
我々は合理的な活性化機能を持つニューラルネットワークを考える。
有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
論文 参考訳（メタデータ） (2020-04-04T10:36:11Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。