論文の概要: DALex: Lexicase-like Selection via Diverse Aggregation

• arxiv url: http://arxiv.org/abs/2401.12424v2
• Date: Fri, 9 Feb 2024 00:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 19:56:56.148003
• Title: DALex: Lexicase-like Selection via Diverse Aggregation
• Title（参考訳）: DALex: 逆アグリゲーションによるレキシケース様選択
• Authors: Andrew Ni, Li Ding, Lee Spector
• Abstract要約: DALex(Diversely Aggregated Lexicase)は,レキシケース選択とその緩和された変種に対して,大幅な高速化を実現することを示す。 プログラム合成, 深層学習, 記号回帰, 学習システムの結果から, DALexは語彙選択とその緩和された変種に対して, 大幅な高速化を実現することが示された。
• 参考スコア（独自算出の注目度）: 6.394522608656896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lexicase selection has been shown to provide advantages over other selection algorithms in several areas of evolutionary computation and machine learning. In its standard form, lexicase selection filters a population or other collection based on randomly ordered training cases that are considered one at a time. This iterated filtering process can be time-consuming, particularly in settings with large numbers of training cases. In this paper, we propose a new method that is nearly equivalent to lexicase selection in terms of the individuals that it selects, but which does so significantly more quickly. The new method, called DALex (for Diversely Aggregated Lexicase), selects the best individual with respect to a weighted sum of training case errors, where the weights are randomly sampled. This allows us to formulate the core computation required for selection as matrix multiplication instead of recursive loops of comparisons, which in turn allows us to take advantage of optimized and parallel algorithms designed for matrix multiplication for speedup. Furthermore, we show that we can interpolate between the behavior of lexicase selection and its "relaxed" variants, such as epsilon or batch lexicase selection, by adjusting a single hyperparameter, named "particularity pressure," which represents the importance granted to each individual training case. Results on program synthesis, deep learning, symbolic regression, and learning classifier systems demonstrate that DALex achieves significant speedups over lexicase selection and its relaxed variants while maintaining almost identical problem-solving performance. Under a fixed computational budget, these savings free up resources that can be directed towards increasing population size or the number of generations, enabling the potential for solving more difficult problems.
• Abstract（参考訳）: 語彙選択は、進化計算と機械学習のいくつかの領域において、他の選択アルゴリズムよりも有利であることが示されている。 レキシケースの選択は、ランダムに順序づけられたトレーニングケースに基づいて、集団やその他のコレクションをフィルタリングする。 この反復フィルタリングプロセスは、特に多数のトレーニングケースのある環境では、時間を要する可能性がある。 本稿では,選択した個体の語彙選択とほぼ同等の手法を提案するが,より高速に行うことができる。 DALex(Diversely Aggregated Lexicase)と呼ばれる新しい手法は、トレーニングケースエラーの重み付けされた総和に対して最適な個人を選択し、重みをランダムにサンプリングする。 これにより、再帰的な比較ループの代わりに行列乗算として選択に必要なコア計算を定式化することができ、これにより、高速化のために行列乗算用に設計された最適化された並列アルゴリズムを活用できる。 さらに,各トレーニングケースに付与される重要度を表す1つのハイパーパラメータ"Particularity pressure"を調整することにより,レキシケース選択の挙動と,エプシロンやバッチレキシケース選択などの「緩和」変異とを補間できることを示す。 プログラム合成, 深層学習, 記号回帰, 学習分類器システムの結果から, DALexは, ほぼ同一の問題解決性能を維持しつつ, 語彙選択とその緩和された変種に対して, 大幅な高速化を実現していることが示された。 固定的な計算予算の下では、これらの貯蓄は人口増加や世代数に向けられる資源を解放し、より難しい問題を解決する可能性を秘めている。

関連論文リスト

• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Lexicase-based Selection Methods with Down-sampling for Symbolic Regression Problems: Overview and Benchmark [0.8602553195689513]
  本稿では, 広範囲の記号回帰問題に対して, 関連する語彙に基づく選択法と組み合わせて, ランダムかつ情報的なダウンサンプリングを評価する。 評価予算について,エプシロン・レキシケース選択とランダムあるいはインフォメーション・ダウンサンプリングの組み合わせにより,他の手法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-07-31T14:26:22Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• Probabilistic Lexicase Selection [6.177959045971966]
  本稿では,レキシケード選択の確率分布を効率的に近似する新しい親選択アルゴリズムである確率論的レキシケード選択(プレキシケード選択)を導入する。 提案手法は,セマンティック・アウェア選択法として優れた問題解決能力を示すだけでなく,選択プロセスの確率的表現の利点も示している。
  論文  参考訳（メタデータ） (2023-05-19T13:57:04Z)
• Calculating lexicase selection probabilities is NP-Hard [0.0]
  lex-prob というこの問題が NP-Hard であることを示す。 この証明は、よく知られたNP-Complete問題であるSATを、時間内にlex-probに還元することで達成する。
  論文  参考訳（メタデータ） (2023-01-17T06:51:44Z)
• Lexicase Selection at Scale [5.4968949435821735]
  語彙選択(Lexicase selection)は、ランダムにシャッフルされたデータストリームで個々のテストケースを評価する意味認識親選択法である。 語彙選択とそのバリエーションの潜在的な欠点の1つは、選択手順が単一のデータストリームでトレーニングケースを評価する必要があることである。 そこで本研究では,レキシケース選択と重み付きシャッフルを組み合わせた高速レキシケース選択法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T03:58:47Z)
• Problem-solving benefits of down-sampled lexicase selection [0.20305676256390928]
  ダウンサンプルのレキシケース選択の主な利点は、進化過程が同じ計算予算内でより多くの個人を調べることができるという事実から来ています。 しかし、ダウンサンプリングが役立つ理由は、まだ完全には理解されていない。
  論文  参考訳（メタデータ） (2021-06-10T23:42:09Z)
• Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors [75.58555462743585]
  訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。 Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。 連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
  論文  参考訳（メタデータ） (2020-04-21T15:20:19Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。