論文の概要: Lai Loss: A Novel Loss Integrating Regularization

• arxiv url: http://arxiv.org/abs/2405.07884v1
• Date: Mon, 13 May 2024 16:17:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 12:56:21.397315
• Title: Lai Loss: A Novel Loss Integrating Regularization
• Title（参考訳）: Lai Loss: 正規化を統合する新たな損失
• Authors: YuFei Lai,
• Abstract要約: ライロス(Lai loss)は、正規化項(次成分)を直感的な幾何学的概念によって従来の損失関数に統合した新規な損失設計である。 この設計は、損失を通じて勾配ベクトルを革新的に罰し、モデルの滑らかさを効果的に制御し、過度な適合を減らし、不適合を避けるという2つの利点を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of machine learning, traditional regularization methods generally tend to directly add regularization terms to the loss function. This paper introduces the "Lai loss", a novel loss design that integrates the regularization terms (gradient component) into the traditional loss function through a straightforward geometric ideation. This design innovatively penalizes the gradient vectors through the loss, effectively controlling the model's smoothness and offering the dual benefits of reducing overfitting and avoiding underfitting. Subsequently, we proposed a random sampling method that successfully addresses the challenges associated with its application under large sample conditions. We conducted preliminary experiments using publicly available datasets from Kaggle, demonstrating that the design of Lai loss can control the model's smoothness while ensuring maximum accuracy.
• Abstract（参考訳）: 機械学習の分野では、伝統的な正規化法は一般的に損失関数に直接正規化項を追加する傾向がある。 本稿では, 正規化項(次成分)を直観的幾何学的概念により従来の損失関数に統合した新しい損失設計である「レイロス」を紹介する。 この設計は、損失を通じて勾配ベクトルを革新的に罰し、モデルの滑らかさを効果的に制御し、過度な適合を減らし、不適合を避けるという2つの利点を提供する。 そこで本研究では,大規模なサンプル条件下でのアプリケーションの課題に対処するランダムサンプリング手法を提案する。 我々はKaggleから公開されているデータセットを用いて予備実験を行い、レイ損失の設計がモデルの滑らかさを最大精度で制御できることを実証した。

関連論文リスト

• Adaptive Adversarial Cross-Entropy Loss for Sharpness-Aware Minimization [2.8775022881551666]
  シャープネス・アウェアの最小化 (SAM) はモデル一般化を強化するために提案された。 SAMは2つの主要なステップ、重みの摂動ステップと重みの更新ステップから構成される。 本稿では、SAMの摂動に対する標準的なクロスエントロピー損失を置き換えるために、適応逆クロスエントロピー(AACE)損失関数を提案する。
  論文  参考訳（メタデータ） (2024-06-20T14:00:01Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning [67.99349091593324]
  連続学習シナリオにおける減量景観と感度安定性の関係について検討した。 提案手法は,忘れを効果的に軽減しつつ,新しいスキルを習得する能力に優れたベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2021-10-09T15:13:44Z)
• Training Over-parameterized Models with Non-decomposable Objectives [46.62273918807789]
  より一般的なコスト行列を扱うために,ロジット調整という古典的な考え方を拡張した新たなコスト感受性損失を提案する。 私たちの損失は校正され、教師モデルの蒸留ラベルでさらに改善できます。
  論文  参考訳（メタデータ） (2021-07-09T19:29:33Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。