論文の概要: Lai Loss: A Novel Loss for Gradient Control

• arxiv url: http://arxiv.org/abs/2405.07884v2
• Date: Thu, 23 May 2024 19:41:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 20:17:43.065596
• Title: Lai Loss: A Novel Loss for Gradient Control
• Title（参考訳）: Lai Loss: グラディエントコントロールの新しい損失
• Authors: YuFei Lai,
• Abstract要約: ライロス」は、正規化項(特に勾配)を従来の損失関数に統合した新しい損失設計である。 この損失により、モデルの滑らかさと感度を効果的に制御できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of machine learning, traditional regularization methods tend to directly add regularization terms to the loss function. This paper introduces the "Lai loss", a novel loss design that integrates the regularization terms (specifically, gradients) into the traditional loss function through straightforward geometric concepts. This design penalizes the gradients with the loss itself, allowing for control of the gradients while ensuring maximum accuracy. With this loss, we can effectively control the model's smoothness and sensitivity, potentially offering the dual benefits of improving the model's generalization performance and enhancing its noise resistance on specific features. Additionally, we proposed a training method that successfully addresses the challenges in practical applications. We conducted preliminary experiments using publicly available datasets from Kaggle, demonstrating that the design of Lai loss can control the model's smoothness and sensitivity while maintaining stable model performance.
• Abstract（参考訳）: 機械学習の分野では、伝統的な正規化法は損失関数に直接正規化項を追加する傾向がある。 本稿では,正規化項(特に勾配)を単純な幾何学的概念を通じて従来の損失関数に統合する新しい損失設計である「レイロス」を紹介する。 この設計は、損失自体の勾配をペナルティ化し、最大精度を確保しながら勾配の制御を可能にする。 この損失により、モデルの滑らかさと感度を効果的に制御することができ、モデルの一般化性能を改善し、特定の特徴に対する耐雑音性を高めるという2つの利点を提供する可能性がある。 さらに,本研究では,実用化における課題に対処するためのトレーニング手法を提案する。 我々はKaggleから公開されているデータセットを用いて予備実験を行い、モデル性能を維持しながら、レイ損失の設計がモデルの滑らかさと感度を制御できることを実証した。

関連論文リスト

• Adaptive Adversarial Cross-Entropy Loss for Sharpness-Aware Minimization [2.8775022881551666]
  シャープネス・アウェアの最小化 (SAM) はモデル一般化を強化するために提案された。 SAMは2つの主要なステップ、重みの摂動ステップと重みの更新ステップから構成される。 本稿では、SAMの摂動に対する標準的なクロスエントロピー損失を置き換えるために、適応逆クロスエントロピー(AACE)損失関数を提案する。
  論文  参考訳（メタデータ） (2024-06-20T14:00:01Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning [67.99349091593324]
  連続学習シナリオにおける減量景観と感度安定性の関係について検討した。 提案手法は,忘れを効果的に軽減しつつ,新しいスキルを習得する能力に優れたベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2021-10-09T15:13:44Z)
• Training Over-parameterized Models with Non-decomposable Objectives [46.62273918807789]
  より一般的なコスト行列を扱うために,ロジット調整という古典的な考え方を拡張した新たなコスト感受性損失を提案する。 私たちの損失は校正され、教師モデルの蒸留ラベルでさらに改善できます。
  論文  参考訳（メタデータ） (2021-07-09T19:29:33Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。