論文の概要: Evolving Loss Functions for Specific Image Augmentation Techniques

• arxiv url: http://arxiv.org/abs/2404.06633v1
• Date: Tue, 9 Apr 2024 21:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 16:08:54.301375
• Title: Evolving Loss Functions for Specific Image Augmentation Techniques
• Title（参考訳）: 画像強調技術における損失関数の進化
• Authors: Brandon Morgan, Dean Hougen,
• Abstract要約: 画像増倍法では, 異なる損失関数が良好に機能し, 他では性能が良くないことを示す。 本研究は,画像拡張特異的損失関数の発見を目的とした,5種類の画像拡張手法の進化的探索を行うことにより,この格差を生かした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous work in Neural Loss Function Search (NLFS) has shown a lack of correlation between smaller surrogate functions and large convolutional neural networks with massive regularization. We expand upon this research by revealing another disparity that exists, correlation between different types of image augmentation techniques. We show that different loss functions can perform well on certain image augmentation techniques, while performing poorly on others. We exploit this disparity by performing an evolutionary search on five types of image augmentation techniques in the hopes of finding image augmentation specific loss functions. The best loss functions from each evolution were then taken and transferred to WideResNet-28-10 on CIFAR-10 and CIFAR-100 across each of the five image augmentation techniques. The best from that were then taken and evaluated by fine-tuning EfficientNetV2Small on the CARS, Oxford-Flowers, and Caltech datasets across each of the five image augmentation techniques. Multiple loss functions were found that outperformed cross-entropy across multiple experiments. In the end, we found a single loss function, which we called the inverse bessel logarithm loss, that was able to outperform cross-entropy across the majority of experiments.
• Abstract（参考訳）: ニューラルロス関数探索(NLFS)におけるこれまでの研究は、より小さなサロゲート関数と大規模な畳み込みニューラルネットワークと、大規模な正規化を伴う相関関係の欠如を示している。 我々は、この研究を拡大し、別の相違点、異なる種類の画像増強技術間の相関を明らかにする。 画像増倍法では, 異なる損失関数が良好に機能し, 他では性能が良くないことを示す。 本研究は,画像拡張特異的損失関数の発見を目的とした,5種類の画像拡張手法の進化的探索を行うことにより,この格差を生かした。 その後、CIFAR-10とCIFAR-100の5つの画像拡張技術で、各進化から最高の損失関数を取り、ワイドResNet-28-10に転送した。 そこから得られたベストは、CARS、Oxford-Flowers、Caltechの5つの画像拡張テクニックのそれぞれに関する微調整のEfficientNetV2Smallによって評価され、評価された。 複数の損失関数は複数の実験において交叉エントロピーに優れていた。 その結果,逆ベッセル対数損失(逆ベッセル対数損失)と呼ばれる単一損失関数が得られた。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Neural Loss Function Evolution for Large-Scale Image Classifier Convolutional Neural Networks [0.0]
  分類では、ニューラルネットワークはクロスエントロピーを最小化して学習するが、精度を用いて評価され、比較される。 この格差は、ニューラルネットワークのクロスエントロピーのドロップイン置換損失関数探索であるニューラルロス関数探索(NLFS)を示唆している。 より多様な損失関数を探索するNLFSの新しい探索空間を提案する。
  論文  参考訳（メタデータ） (2024-01-30T17:21:28Z)
• Towards Generalization in Subitizing with Neuro-Symbolic Loss using Holographic Reduced Representations [49.22640185566807]
  CogSci研究で使用される適応ツールは、CNNとViTのサブティナイズ一般化を改善することができることを示す。 学習におけるこの神経-記号的アプローチが,CNNやVTのサブティナイズ能力にどのように影響するかを検討する。 HRRに基づく損失が改善する一方の軸を除いて、ほとんどの点において、サブタイズにおいてViTはCNNと比較して著しく低下することがわかった。
  論文  参考訳（メタデータ） (2023-12-23T17:54:03Z)
• Tuned Contrastive Learning [77.67209954169593]
  そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。 TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。 我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
  論文  参考訳（メタデータ） (2023-05-18T03:26:37Z)
• Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
  半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。 近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。 これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
  論文  参考訳（メタデータ） (2022-02-14T15:18:00Z)
• Dissecting the impact of different loss functions with gradient surgery [7.001832294837659]
  ペアワイズ・ロス(英: Pair-wise Los)とは、損失関数を最適化することで意味的な埋め込みを学習するメトリクス学習のアプローチである。 ここでは、これらの損失関数の勾配を、アンカー正対とアンカー負対の相対的特徴位置の押し方に関連する成分に分解する。
  論文  参考訳（メタデータ） (2022-01-27T03:55:48Z)
• Training a Better Loss Function for Image Restoration [17.20936270604533]
  単一画像のスーパーレゾリューションで最先端の損失関数を上回る軽量な特徴抽出器を訓練するには,単一の自然画像だけで十分であることを示す。 発電機が導入した誤差を罰するように訓練された一連の識別器からなる新しいマルチスケール識別特徴(MDF)損失を提案する。
  論文  参考訳（メタデータ） (2021-03-26T17:29:57Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• Improving Text to Image Generation using Mode-seeking Function [5.92166950884028]
  異なる画像を生成するための特別なモード探索損失関数を開発する。 われわれのモデルは、Caltech BirdsデータセットとMicrosoft COCOデータセットで検証する。 実験結果から,我々のモデルは最先端のアプローチと比較して非常によく機能することが示された。
  論文  参考訳（メタデータ） (2020-08-19T12:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。