論文の概要: Effective Regularization Through Loss-Function Metalearning

• arxiv url: http://arxiv.org/abs/2010.00788v2
• Date: Thu, 28 Oct 2021 04:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:14:41.418114
• Title: Effective Regularization Through Loss-Function Metalearning
• Title（参考訳）: ロスファンクションメタラーニングによる効果的な正規化
• Authors: Santiago Gonzalez and Risto Miikkulainen
• Abstract要約: TaylorGLOによって進化した損失関数は、プルからゼロエラーへのバランスを保ち、過度な適合を避けるためにそれから離れることが示される。 したがって、損失関数の進化は、ニューラルネットワークにおけるメタラーニングの、十分に確立された新しい側面と見なすことができる。
• 参考スコア（独自算出の注目度）: 16.8615211682877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary optimization, such as the TaylorGLO method, can be used to discover novel, customized loss functions for deep neural networks, resulting in improved performance, faster training, and improved data utilization. A likely explanation is that such functions discourage overfitting, leading to effective regularization. This paper demonstrates theoretically that this is indeed the case for TaylorGLO: Decomposition of learning rules makes it possible to characterize the training dynamics and show that the loss functions evolved by TaylorGLO balance the pull to zero error, and a push away from it to avoid overfitting. They may also automatically take advantage of label smoothing. This analysis leads to an invariant that can be utilized to make the metalearning process more efficient in practice; the mechanism also results in networks that are robust against adversarial attacks. Loss-function evolution can thus be seen as a well-founded new aspect of metalearning in neural networks.
• Abstract（参考訳）: TaylorGLO法のような進化的最適化は、ディープニューラルネットワーク用にカスタマイズされた損失関数を発見するために使用することができ、パフォーマンスの向上、トレーニングの高速化、データ利用の改善をもたらす。 考えられる説明は、そのような関数は過剰フィッティングを阻害し、効果的な正規化につながるということである。 学習規則の分解により、トレーニングのダイナミクスを特徴付けることができ、TaylorGLOによって進化した損失関数が、プルをゼロエラーにバランスさせ、過度な適合を避けるためにそれから離れることを示す。 またラベルの平滑化を自動で利用することもできる。 この分析は、メタラーニングプロセスをより効率的にするために利用することができる不変性をもたらし、このメカニズムはまた、敵の攻撃に対して堅牢なネットワークをもたらす。 したがって、損失関数の進化は、ニューラルネットワークにおけるメタラーニングの確立された新しい側面と見なすことができる。

関連論文リスト

• Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
  クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。 異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:27:03Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Outlier-Robust Neural Network Training: Efficient Optimization of Transformed Trimmed Loss with Variation Regularization [2.5628953713168685]
  本稿では,高表現性ニューラルネットワークを用いた外乱予測モデルについて考察する。 本稿では,(1)古典的トリム化損失の計算可能な変種である変換トリム化損失(TTL)と,(2)予測モデルの高次変分正規化(HOVR)を用いる。
  論文  参考訳（メタデータ） (2023-08-04T12:57:13Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Online Loss Function Learning [13.744076477599707]
  ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。 基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T19:22:46Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Optimizing Loss Functions Through Multivariate Taylor Polynomial Parameterization [16.8615211682877]
  ロス関数はメタ知識の一種であり、ディープニューラルネットワーク(DNN)アーキテクチャの効果的なトレーニングに不可欠である。 本稿では,テイラーパラメータ化の連続CMA-ES最適化を提案する。 MNIST、CIFAR-10、SVHNのベンチマークタスクでは、TaylorGLOはGPで発見された関数よりも優れた新しい損失関数を発見した。
  論文  参考訳（メタデータ） (2020-01-31T21:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。