論文の概要: Optimizing Neural Networks with Gradient Lexicase Selection
- arxiv url: http://arxiv.org/abs/2312.12606v1
- Date: Tue, 19 Dec 2023 21:21:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 17:50:52.906745
- Title: Optimizing Neural Networks with Gradient Lexicase Selection
- Title（参考訳）: グラディエントレキシケース選択によるニューラルネットワークの最適化
- Authors: Li Ding, Lee Spector
- Abstract要約: 機械学習で集約されたパフォーマンス測定を使用することの潜在的な欠点は、トレーニングケースのより高いエラーを、他のケースの低いエラーに対する妥協として受け入れることを学ぶことができることである。
本稿では、勾配降下と語彙選択を進化的に組み合わせた最適化フレームワークであるグラディエント・レキシケース選択を提案する。
実験により,提案手法は,広く使用されているディープニューラルネットワークアーキテクチャの一般化性能を向上することを示した。
- 参考スコア（独自算出の注目度）: 7.554281369517276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One potential drawback of using aggregated performance measurement in machine
learning is that models may learn to accept higher errors on some training
cases as compromises for lower errors on others, with the lower errors actually
being instances of overfitting. This can lead to both stagnation at local
optima and poor generalization. Lexicase selection is an uncompromising method
developed in evolutionary computation, which selects models on the basis of
sequences of individual training case errors instead of using aggregated
metrics such as loss and accuracy. In this paper, we investigate how lexicase
selection, in its general form, can be integrated into the context of deep
learning to enhance generalization. We propose Gradient Lexicase Selection, an
optimization framework that combines gradient descent and lexicase selection in
an evolutionary fashion. Our experimental results demonstrate that the proposed
method improves the generalization performance of various widely-used deep
neural network architectures across three image classification benchmarks.
Additionally, qualitative analysis suggests that our method assists networks in
learning more diverse representations. Our source code is available on GitHub:
https://github.com/ld-ing/gradient-lexicase.
- Abstract（参考訳）: 機械学習で集約されたパフォーマンス測定を使用することの潜在的な欠点の1つは、モデルが一部のトレーニングケースでより高いエラーを、他のケースで低いエラーの妥協として受け入れることを学ぶことだ。
これは局所最適化の停滞と一般化の低さに繋がる。
語彙選択(Lexicase selection)は、進化計算で開発された非競合的手法であり、損失や精度などの集約されたメトリクスを使用するのではなく、個別の訓練ケースエラーのシーケンスに基づいてモデルを選択する。
本稿では,レキシケースの選択を一般の形で深層学習の文脈に統合し,一般化を促進する方法について検討する。
本稿では,進化的手法で勾配降下とレキシケース選択を組み合わせた最適化フレームワークである勾配レキシケース選択を提案する。
実験により,提案手法は,3つの画像分類ベンチマークを用いて,広く使用されているディープニューラルネットワークアーキテクチャの一般化性能を向上することを示した。
さらに質的な分析により,より多様な表現を学習するネットワークを支援することが示唆された。
ソースコードはgithubから入手できます。 https://github.com/ld-ing/gradient-lexicase.com/。
関連論文リスト
- Neural Network-Based Score Estimation in Diffusion Models: Optimization
and Generalization [12.812942188697326]
拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。
これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。
様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
論文 参考訳（メタデータ） (2024-01-28T08:13:56Z) - Explicit Foundation Model Optimization with Self-Attentive Feed-Forward
Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。
本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文 参考訳（メタデータ） (2023-11-13T17:55:07Z) - Learning to Branch in Combinatorial Optimization with Graph Pointer
Networks [17.729352126574902]
本稿では,分岐境界における変数選択ポリシーを学習するためのグラフポインターネットワークモデルを提案する。
グラフニューラルネットワークとポインタ機構を組み合わせたモデルでは,解法状態から分岐変数決定への効果的マッピングが可能である。
論文 参考訳（メタデータ） (2023-07-04T01:56:07Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-10-07T03:52:27Z) - Fast and scalable neuroevolution deep learning architecture search for
multivariate anomaly detection [0.0]
この研究は、異常検出のための多段階神経進化アプローチの改善に焦点を当てている。
提案フレームワークは,任意の非教師なしタスクに対して,効率的な学習ネットワークアーキテクチャ手法として利用することができる。
論文 参考訳（メタデータ） (2021-12-10T16:14:43Z) - A Continuous Optimisation Benchmark Suite from Neural Network Regression [0.0]
ニューラルネットワークのトレーニングは、近年のディープラーニングの成功で注目を集めている最適化タスクである。
勾配降下変種は、大規模機械学習タスクにおける信頼性の高いパフォーマンスにおいて、最も一般的な選択である。
CORNNは、ニューラルネットワークのトレーニング問題に対して、連続的なブラックボックスアルゴリズムのパフォーマンスをベンチマークするスイートである。
論文 参考訳（メタデータ） (2021-09-12T20:24:11Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。