論文の概要: Tilting the playing field: Dynamical loss functions for machine learning

• arxiv url: http://arxiv.org/abs/2102.03793v1
• Date: Sun, 7 Feb 2021 13:15:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 14:34:03.364745
• Title: Tilting the playing field: Dynamical loss functions for machine learning
• Title（参考訳）: プレイフィールドのティルティング:機械学習のための動的損失関数
• Authors: Miguel Ruiz-Garcia, Ge Zhang, Samuel S. Schoenholz, Andrea J. Liu
• Abstract要約: 学習中に周期的に進化する損失関数を用いて1つのクラスを同時に強調することにより、学習を改善することができることを示す。 改善は、損失を最小限に抑えるために進化するシステムのダイナミクスと、変化する損失景観の相互作用から生じる。
• 参考スコア（独自算出の注目度）: 18.831125493827766
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We show that learning can be improved by using loss functions that evolve cyclically during training to emphasize one class at a time. In underparameterized networks, such dynamical loss functions can lead to successful training for networks that fail to find a deep minima of the standard cross-entropy loss. In overparameterized networks, dynamical loss functions can lead to better generalization. Improvement arises from the interplay of the changing loss landscape with the dynamics of the system as it evolves to minimize the loss. In particular, as the loss function oscillates, instabilities develop in the form of bifurcation cascades, which we study using the Hessian and Neural Tangent Kernel. Valleys in the landscape widen and deepen, and then narrow and rise as the loss landscape changes during a cycle. As the landscape narrows, the learning rate becomes too large and the network becomes unstable and bounces around the valley. This process ultimately pushes the system into deeper and wider regions of the loss landscape and is characterized by decreasing eigenvalues of the Hessian. This results in better regularized models with improved generalization performance.
• Abstract（参考訳）: 学習中に周期的に進化する損失関数を用いて1つのクラスを同時に強調することにより、学習を改善することができることを示す。 低パラメータネットワークでは、そのような動的損失関数は、標準のクロスエントロピー損失の深いミニマムを見つけることができないネットワークのトレーニングに成功する可能性がある。 過パラメータネットワークでは、動的損失関数はより良い一般化につながる可能性がある。 改善は、損失を最小限に抑えるために進化するシステムのダイナミクスと、変化する損失景観の相互作用から生じる。 特に、損失関数が振動するにつれて、不安定性は分岐カスケードの形で発達し、ヘッセンおよびニューラルタンジェントカーネルを用いて研究する。 風景の谷は拡大し、深くなり、サイクル中に失われた風景が変わるにつれて狭くなります。 風景が狭まるにつれて、学習率が大きくなり、ネットワークが不安定になり、谷の周りに跳ね返る。 この過程は最終的に系を損失ランドスケープのより深くより広い領域に押し込み、ヘッセンの固有値の減少を特徴とする。 これにより、正規化モデルが向上し、一般化性能が向上します。

関連論文リスト

• Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
  クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。 異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:27:03Z)
• Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
  可塑性の喪失は複数の独立したメカニズムに分解できることを示す。 種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T00:02:33Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Towards Generalization in Subitizing with Neuro-Symbolic Loss using Holographic Reduced Representations [49.22640185566807]
  CogSci研究で使用される適応ツールは、CNNとViTのサブティナイズ一般化を改善することができることを示す。 学習におけるこの神経-記号的アプローチが,CNNやVTのサブティナイズ能力にどのように影響するかを検討する。 HRRに基づく損失が改善する一方の軸を除いて、ほとんどの点において、サブタイズにおいてViTはCNNと比較して著しく低下することがわかった。
  論文  参考訳（メタデータ） (2023-12-23T17:54:03Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• The instabilities of large learning rate training: a loss landscape view [2.4366811507669124]
  本研究では,学習率の高いネットワークトレーニングにおいて,ヘッセン行列を考慮した損失景観について検討する。 我々は勾配降下の不安定性を特徴づけ、テクトランドスケープ平坦化とテクトランドスケープシフトの顕著な現象を観察する。
  論文  参考訳（メタデータ） (2023-07-22T00:07:49Z)
• Online Loss Function Learning [13.744076477599707]
  ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。 基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T19:22:46Z)
• Critical Investigation of Failure Modes in Physics-informed Neural Networks [0.9137554315375919]
  合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。 また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
  論文  参考訳（メタデータ） (2022-06-20T18:43:35Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Anomalous diffusion dynamics of learning in deep neural networks [0.0]
  ディープニューラルネットワーク(DNN)の学習は、高度に非平衡な損失関数を最小化することによって実現される。 本稿では, ロスランドスケープのフラクタル様構造の相互作用を通じて, このような効果的な深層学習が出現することを示す。
  論文  参考訳（メタデータ） (2020-09-22T14:57:59Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。