論文の概要: Meta-Learning for Symbolic Hyperparameter Defaults

• arxiv url: http://arxiv.org/abs/2106.05767v1
• Date: Thu, 10 Jun 2021 14:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:34:17.678500
• Title: Meta-Learning for Symbolic Hyperparameter Defaults
• Title（参考訳）: シンボリックハイパーパラメータデフォルトのためのメタラーニング
• Authors: Pieter Gijsbers, Florian Pfisterer, Jan N. van Rijn, Bernd Bischl and Joaquin Vanschoren
• Abstract要約: 機械学習(ML)におけるハイパーパラメータ最適化は、データから最適なアルゴリズム構成を経験的に学習する問題を扱う。 本稿では,メタラーン記号のデフォルトパラメータ設定に対するゼロショット法を提案し,データセットの特性の観点から表現する。 これにより、MLアルゴリズムのより高速で、なおデータ依存的な構成が可能になる。
• 参考スコア（独自算出の注目度）: 2.928016570228877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization in machine learning (ML) deals with the problem of empirically learning an optimal algorithm configuration from data, usually formulated as a black-box optimization problem. In this work, we propose a zero-shot method to meta-learn symbolic default hyperparameter configurations that are expressed in terms of the properties of the dataset. This enables a much faster, but still data-dependent, configuration of the ML algorithm, compared to standard hyperparameter optimization approaches. In the past, symbolic and static default values have usually been obtained as hand-crafted heuristics. We propose an approach of learning such symbolic configurations as formulas of dataset properties from a large set of prior evaluations on multiple datasets by optimizing over a grammar of expressions using an evolutionary algorithm. We evaluate our method on surrogate empirical performance models as well as on real data across 6 ML algorithms on more than 100 datasets and demonstrate that our method indeed finds viable symbolic defaults.
• Abstract（参考訳）: 機械学習(ML)におけるハイパーパラメータ最適化は、データから最適なアルゴリズム構成を経験的に学習する問題を扱う。 本研究では,データセットの特性を用いて表現されるメタリアンのシンボル型デフォルトハイパーパラメータ構成のためのゼロショット法を提案する。 これにより、標準的なハイパーパラメータ最適化アプローチに比べて、mlアルゴリズムの高速かつデータ依存の構成が可能になる。 過去には、象徴的および静的なデフォルト値は通常手作りのヒューリスティックとして得られてきた。 進化的アルゴリズムを用いて表現の文法を最適化することにより,複数のデータセット上での事前評価からデータセット特性の式のような記号的構成を学習する手法を提案する。 我々は,100以上のデータセット上で6mlアルゴリズムにまたがる実データに加えて,経験的性能モデルの評価を行い,本手法が真に実行可能なシンボルデフォルトを求めることを実証した。

関連論文リスト

• Transfer Learning in $\ell_1$ Regularized Regression: Hyperparameter Selection Strategy based on Sharp Asymptotic Analysis [4.178980693837599]
  転送学習技術は、複数の関連するデータセットからの情報を活用し、ターゲットデータセットに対する予測品質を向上させることを目的としている。 トランス・ラッソ(Trans-Lasso)とプレトレーニング・ラッソ(Pretraining Lasso)である。 レプリカ法を用いて解析することにより,高次元環境下でのアルゴリズムの徹底的,精密な研究を行う。 微調整段階に転送される2種類の情報の1つを無視することは、一般化性能にはほとんど影響しない。
  論文  参考訳（メタデータ） (2024-09-26T10:20:59Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• DynamoRep: Trajectory-Based Population Dynamics for Classification of Black-box Optimization Problems [0.755972004983746]
  簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。 提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
  論文  参考訳（メタデータ） (2023-06-08T06:57:07Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning [19.5917119072985]
  対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-11-24T17:51:29Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
  本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。 提案手法は,特にショットや微調整の設定において有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-02T07:33:16Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• MementoML: Performance of selected machine learning algorithm configurations on OpenML100 datasets [5.802346990263708]
  本稿では,異なるMLアルゴリズムの性能を示すベンチマークデータを生成するプロトコルを提案する。 このように収集されたデータは、アルゴリズムのパフォーマンスに影響を与える要因を研究するために使用される。
  論文  参考訳（メタデータ） (2020-08-30T13:13:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。