論文の概要: DALex: Lexicase-like Selection via Diverse Aggregation
- arxiv url: http://arxiv.org/abs/2401.12424v2
- Date: Fri, 9 Feb 2024 00:44:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 19:56:56.148003
- Title: DALex: Lexicase-like Selection via Diverse Aggregation
- Title(参考訳): DALex: 逆アグリゲーションによるレキシケース様選択
- Authors: Andrew Ni, Li Ding, Lee Spector
- Abstract要約: DALex(Diversely Aggregated Lexicase)は,レキシケース選択とその緩和された変種に対して,大幅な高速化を実現することを示す。
プログラム合成, 深層学習, 記号回帰, 学習システムの結果から, DALexは語彙選択とその緩和された変種に対して, 大幅な高速化を実現することが示された。
- 参考スコア(独自算出の注目度): 6.394522608656896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lexicase selection has been shown to provide advantages over other selection
algorithms in several areas of evolutionary computation and machine learning.
In its standard form, lexicase selection filters a population or other
collection based on randomly ordered training cases that are considered one at
a time. This iterated filtering process can be time-consuming, particularly in
settings with large numbers of training cases. In this paper, we propose a new
method that is nearly equivalent to lexicase selection in terms of the
individuals that it selects, but which does so significantly more quickly. The
new method, called DALex (for Diversely Aggregated Lexicase), selects the best
individual with respect to a weighted sum of training case errors, where the
weights are randomly sampled. This allows us to formulate the core computation
required for selection as matrix multiplication instead of recursive loops of
comparisons, which in turn allows us to take advantage of optimized and
parallel algorithms designed for matrix multiplication for speedup.
Furthermore, we show that we can interpolate between the behavior of lexicase
selection and its "relaxed" variants, such as epsilon or batch lexicase
selection, by adjusting a single hyperparameter, named "particularity
pressure," which represents the importance granted to each individual training
case. Results on program synthesis, deep learning, symbolic regression, and
learning classifier systems demonstrate that DALex achieves significant
speedups over lexicase selection and its relaxed variants while maintaining
almost identical problem-solving performance. Under a fixed computational
budget, these savings free up resources that can be directed towards increasing
population size or the number of generations, enabling the potential for
solving more difficult problems.
- Abstract(参考訳): 語彙選択は、進化計算と機械学習のいくつかの領域において、他の選択アルゴリズムよりも有利であることが示されている。
レキシケースの選択は、ランダムに順序づけられたトレーニングケースに基づいて、集団やその他のコレクションをフィルタリングする。
この反復フィルタリングプロセスは、特に多数のトレーニングケースのある環境では、時間を要する可能性がある。
本稿では,選択した個体の語彙選択とほぼ同等の手法を提案するが,より高速に行うことができる。
DALex(Diversely Aggregated Lexicase)と呼ばれる新しい手法は、トレーニングケースエラーの重み付けされた総和に対して最適な個人を選択し、重みをランダムにサンプリングする。
これにより、再帰的な比較ループの代わりに行列乗算として選択に必要なコア計算を定式化することができ、これにより、高速化のために行列乗算用に設計された最適化された並列アルゴリズムを活用できる。
さらに,各トレーニングケースに付与される重要度を表す1つのハイパーパラメータ"Particularity pressure"を調整することにより,レキシケース選択の挙動と,エプシロンやバッチレキシケース選択などの「緩和」変異とを補間できることを示す。
プログラム合成, 深層学習, 記号回帰, 学習分類器システムの結果から, DALexは, ほぼ同一の問題解決性能を維持しつつ, 語彙選択とその緩和された変種に対して, 大幅な高速化を実現していることが示された。
固定的な計算予算の下では、これらの貯蓄は人口増加や世代数に向けられる資源を解放し、より難しい問題を解決する可能性を秘めている。
関連論文リスト
- Towards Free Data Selection with General-Purpose Models [71.92151210413374]
望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。
アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。
FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
論文 参考訳(メタデータ) (2023-09-29T15:50:14Z) - Best-Subset Selection in Generalized Linear Models: A Fast and
Consistent Algorithm via Splicing Technique [0.6338047104436422]
ベストサブセットセクションは、このタイプの問題の聖杯として広く見なされている。
軽度条件下での最適部分集合回復のためのアルゴリズムを提案し,提案した。
我々の実装は、一般的な変数選択ツールキットと比較して約4倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2023-08-01T03:11:31Z) - Probabilistic Lexicase Selection [6.177959045971966]
本稿では,レキシケード選択の確率分布を効率的に近似する新しい親選択アルゴリズムである確率論的レキシケード選択(プレキシケード選択)を導入する。
提案手法は,セマンティック・アウェア選択法として優れた問題解決能力を示すだけでなく,選択プロセスの確率的表現の利点も示している。
論文 参考訳(メタデータ) (2023-05-19T13:57:04Z) - Calculating lexicase selection probabilities is NP-Hard [0.0]
lex-prob というこの問題が NP-Hard であることを示す。
この証明は、よく知られたNP-Complete問題であるSATを、時間内にlex-probに還元することで達成する。
論文 参考訳(メタデータ) (2023-01-17T06:51:44Z) - Lexicase Selection at Scale [5.4968949435821735]
語彙選択(Lexicase selection)は、ランダムにシャッフルされたデータストリームで個々のテストケースを評価する意味認識親選択法である。
語彙選択とそのバリエーションの潜在的な欠点の1つは、選択手順が単一のデータストリームでトレーニングケースを評価する必要があることである。
そこで本研究では,レキシケース選択と重み付きシャッフルを組み合わせた高速レキシケース選択法を提案する。
論文 参考訳(メタデータ) (2022-08-23T03:58:47Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳(メタデータ) (2022-02-25T16:35:26Z) - Problem-solving benefits of down-sampled lexicase selection [0.20305676256390928]
ダウンサンプルのレキシケース選択の主な利点は、進化過程が同じ計算予算内でより多くの個人を調べることができるという事実から来ています。
しかし、ダウンサンプリングが役立つ理由は、まだ完全には理解されていない。
論文 参考訳(メタデータ) (2021-06-10T23:42:09Z) - Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。
我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
論文 参考訳(メタデータ) (2020-04-23T05:00:21Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳(メタデータ) (2020-04-21T15:20:19Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳(メタデータ) (2020-02-20T11:11:32Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳(メタデータ) (2020-01-12T09:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。