論文の概要: Combined Pruning for Nested Cross-Validation to Accelerate Automated Hyperparameter Optimization for Embedded Feature Selection in High-Dimensional Data with Very Small Sample Sizes

• arxiv url: http://arxiv.org/abs/2202.00598v1
• Date: Tue, 1 Feb 2022 17:42:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 15:58:11.590725
• Title: Combined Pruning for Nested Cross-Validation to Accelerate Automated Hyperparameter Optimization for Embedded Feature Selection in High-Dimensional Data with Very Small Sample Sizes
• Title（参考訳）: 極小サイズ高次元データにおける組込み特徴選択のためのNested Cross-Validationと自動ハイパーパラメータ最適化の併用
• Authors: Sigrun May, Sven Hartmann and Frank Klawonn
• Abstract要約: 非常に小さなサンプルサイズを持つ高次元データの無関係な特徴を排除するための木に基づく組込み特徴選択は、モデル構築プロセスに最適化されたハイパーパラメータを必要とする。 標準的なプルーニングアルゴリズムは、性能評価基準のばらつきが大きいため、計算が遅れたり、計算を中断するリスクを負わなければならない。 我々は、最先端の半減期プルーナーの使用に適応し、ドメインまたは事前知識に基づく2つの新しいプルーニング戦略と組み合わせる。 提案した3層プルーナーの組み合わせは、将来有望な試行を継続すると同時に、現状の使用と比較して、最大81,3%まで製造されるモデルの数を削減している。
• 参考スコア（独自算出の注目度）: 3.51500332842165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying tree-based embedded feature selection to exclude irrelevant features in high-dimensional data with very small sample sizes requires optimized hyperparameters for the model building process. In addition, nested cross-validation must be applied for this type of data to avoid biased model performance. The resulting long computation time can be accelerated with pruning. However, standard pruning algorithms must prune late or risk aborting calculations of promising hyperparameter sets due to high variance in the performance evaluation metric. To address this, we adapt the usage of a state-of-the-art successive halving pruner and combine it with two new pruning strategies based on domain or prior knowledge. One additional pruning strategy immediately stops the computation of trials with semantically meaningless results for the selected hyperparameter combinations. The other is an extrapolating threshold pruning strategy suitable for nested-cross-validation with high variance. Our proposed combined three-layer pruner keeps promising trials while reducing the number of models to be built by up to 81,3% compared to using a state-of-the-art asynchronous successive halving pruner alone. Our three-layer pruner implementation(available at https://github.com/sigrun-may/cv-pruner) speeds up data analysis or enables deeper hyperparameter search within the same computation time. It consequently saves time, money and energy, reducing the CO2 footprint.
• Abstract（参考訳）: 非常に小さなサンプルサイズを持つ高次元データの無関係な特徴を排除するためにツリーベースの組み込み特徴選択を適用するには、モデル構築プロセスに最適化されたハイパーパラメータが必要である。 さらに、バイアスドモデルのパフォーマンスを避けるために、ネストしたクロスバリデーションをこの種のデータに適用する必要がある。 結果としての長い計算時間をプルーニングで高速化することができる。 しかし, 標準的な刈り込みアルゴリズムは, 性能評価基準のばらつきが大きいため, 予測可能なハイパーパラメータ集合の計算を遅らせるか, リスクを回避しなければならない。 これを解決するために、最先端の半減期プルーナーの使用を適応させ、ドメインや事前知識に基づく2つの新しいプルーニング戦略と組み合わせる。 追加のプルーニング戦略は、選択されたハイパーパラメータの組み合わせに対する意味的に意味のない結果による試行の計算を直ちに停止する。 もう一つは、高分散のネストクロスバリデーションに適した外挿しきい値プルーニング戦略である。 提案する3層prunerは,最先端の非同期連続型halvingpruner単独と比較して,最大81,3%のモデル数を削減しながら,有望な試験を継続する。 我々の3層プルーナー実装(https://github.com/sigrun-may/cv-prunerで利用可能)はデータ解析を高速化するか、あるいは同じ計算時間内でより深いハイパーパラメータ検索を可能にする。 これにより、時間とお金とエネルギーを節約し、CO2排出量を減らす。

関連論文リスト

• Interpretable label-free self-guided subspace clustering [0.0]
  多数部分空間クラスタリング(SC)アルゴリズムは1つ以上のハイパーパラメータに依存しており、高いクラスタリング性能を達成するためにはSCアルゴリズムを慎重に調整する必要がある。 我々は,精度 (ACC) や正規化相互情報 (NMI) などのクラスタリング品質指標を用いたラベル非依存HPOの新しい手法を提案する。 本手法は,複数のシングルビューおよびマルチビューSCアルゴリズムを用いて,達成された性能を,桁,顔,オブジェクトを表す6つのデータセットで比較する。
  論文  参考訳（メタデータ） (2024-11-26T10:29:09Z)
• Stability-Adjusted Cross-Validation for Sparse Linear Regression [5.156484100374059]
  k倍のクロスバリデーションのようなクロスバリデーション技術はスパース回帰の計算コストを大幅に増大させる。 クロスバリデーションメトリックの重み付け和とモデルの出力安定性を最小化するハイパーパラメータの選択を提案する。 我々の信頼度調整手順は、13の実世界のデータセット上で、テストセットエラーを平均で2%削減する。
  論文  参考訳（メタデータ） (2023-06-26T17:02:45Z)
• Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
  そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。 その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
  論文  参考訳（メタデータ） (2023-06-13T18:22:24Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Fast Hyperparameter Tuning for Ising Machines [0.8057006406834467]
  ファストコンバージェンス(FastConvergence)は、木構造型Parzen Estimator(TPE)の収束加速度法である 実験では、よく知られたトラベルセールスマン問題(TSP)と擬似アサインメント問題(QAP)が入力として使用される。 結果は、FastConvergenceはトライアルの半数未満で、TPEと同じような結果が得られることを示している。
  論文  参考訳（メタデータ） (2022-11-29T01:53:31Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• Accelerate CNNs from Three Dimensions: A Comprehensive Pruning Framework [40.635566748735386]
  ほとんどのニューラルネットワークプルーニング手法は、計算予算を満たすために、ネットワークモデルを1つ(深さ、幅、解像度)に沿ってプルークする。 刈り取りは3次元を包括的に行うべきだと論じる。 提案アルゴリズムは最先端のプルーニングアルゴリズムやニューラルアーキテクチャ検索アルゴリズムを超越している。
  論文  参考訳（メタデータ） (2020-10-10T02:30:47Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。