論文の概要: Rethinking of Encoder-based Warm-start Methods in Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2403.04720v4
• Date: Fri, 16 Aug 2024 12:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 20:34:59.069042
• Title: Rethinking of Encoder-based Warm-start Methods in Hyperparameter Optimization
• Title（参考訳）: ハイパーパラメータ最適化におけるエンコーダに基づくウォームスタート法の再検討
• Authors: Dawid Płudowski, Antoni Zajko, Anna Kozak, Katarzyna Woźnica,
• Abstract要約: 本研究では,岩田具治と熊谷篤俊をモデルとした表型データを用いた表現学習手法を提案する。 一般表現は,要求が抽出中に明示的に考慮されないメタタスクでは十分でないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effectively representing heterogeneous tabular datasets for meta-learning purposes remains an open problem. Previous approaches rely on predefined meta-features, for example, statistical measures or landmarkers. The emergence of dataset encoders opens new possibilities for the extraction of meta-features because they do not involve any handmade design. Moreover, they are proven to generate dataset representations with desired spatial properties. In this research, we evaluate an encoder-based approach to one of the most established meta-tasks - warm-starting of the Bayesian Hyperparameter Optimization. To broaden our analysis we introduce a new approach for representation learning on tabular data based on [Tomoharu Iwata and Atsutoshi Kumagai. Meta-learning from Tasks with Heterogeneous Attribute Spaces. In Advances in Neural Information Processing Systems, 2020]. The validation on over 100 datasets from UCI and an independent metaMIMIC set of datasets highlights the nuanced challenges in representation learning. We show that general representations may not suffice for some meta-tasks where requirements are not explicitly considered during extraction.
• Abstract（参考訳）: メタ学習目的のための異質な表層データセットを効果的に表現することは、未解決の問題である。 以前のアプローチは、例えば統計測度やランドマークのような、事前に定義されたメタ機能に依存していた。 データセットエンコーダの出現は、手作りデザインを含まないため、メタ機能抽出の新しい可能性を開く。 さらに、所望の空間特性を持つデータセット表現を生成することが証明されている。 本研究では,最も確立されたメタタスクの1つであるベイジアンハイパーパラメータ最適化のウォームスタートに対するエンコーダに基づくアプローチを評価する。 本稿では, 岩田友治, 熊谷篤俊による表層データ表現学習の新たなアプローチを提案する。 UCIの100以上のデータセットと独立したMetaMIMICデータセットの検証は、表現学習における厄介な課題を浮き彫りにしている。 一般表現は,要求が抽出中に明示的に考慮されないメタタスクでは十分でないことを示す。

関連論文リスト

• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information [68.76707843019886]
  infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。 infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。 実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-30T18:12:48Z)
• Which is the best model for my data? [0.0]
  提案されたメタ学習アプローチは、機械学習に依存し、4つの主要なステップを含む。 本稿では,正と負の測度を含む集約測度値において,情報消去の問題に対処する62のメタ特徴の集合について述べる。 我々のメタ学習アプローチは、合成データセットの91%と実世界のデータセットの87%に対して、最適なモデルを正確に予測できることを示します。
  論文  参考訳（メタデータ） (2022-10-26T13:15:43Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Towards Meta-learned Algorithm Selection using Implicit Fidelity Information [13.750624267664156]
  IMFASは、計算コストの低い任意のメタ機能によって容易に豊かになる情報的ランドマークを生産する。 テスト期間中に、ほぼ半分の忠実度シーケンスでSuccessive Halvingを破ることができることを示す。
  論文  参考訳（メタデータ） (2022-06-07T09:14:24Z)
• T-METASET: Task-Aware Generation of Metamaterial Datasets by Diversity-Based Active Learning [14.668178146934588]
  タスク対応データセット生成のためのインテリジェントなデータ取得フレームワークであるt-METASETを提案する。 提案するフレームワークを,汎用性,タスク認識性,カスタマイズ可能な3つのシナリオで検証する。
  論文  参考訳（メタデータ） (2022-02-21T22:46:49Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。