論文の概要: Rethinking of Encoder-based Warm-start Methods in Hyperparameter
Optimization
- arxiv url: http://arxiv.org/abs/2403.04720v1
- Date: Thu, 7 Mar 2024 18:16:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 13:04:21.787735
- Title: Rethinking of Encoder-based Warm-start Methods in Hyperparameter
Optimization
- Title(参考訳): ハイパーパラメータ最適化におけるエンコーダに基づくウォームスタート法の再検討
- Authors: Dawid P{\l}udowski, Antoni Zajko, Anna Kozak, Katarzyna Wo\'znica
- Abstract要約: 本研究では,Liltabパッケージ内に実装されたデータセットのエンコーダに基づく新しい表現を提案する。
一般表現は,要求が抽出中に明示的に考慮されないメタタスクでは十分でないことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effectively representing heterogeneous tabular datasets for meta-learning
remains an open problem. Previous approaches rely on predefined meta-features,
for example, statistical measures or landmarkers. Encoder-based models, such as
Dataset2Vec, allow us to extract significant meta-features automatically
without human intervention. This research introduces a novel encoder-based
representation of tabular datasets implemented within the liltab package
available on GitHub https://github.com/azoz01/liltab. Our package is based on
an established model for heterogeneous tabular data proposed in [Iwata and
Kumagai, 2020]. The proposed approach employs a different model for encoding
feature relationships, generating alternative representations compared to
existing methods like Dataset2Vec. Both of them leverage the fundamental
assumption of dataset similarity learning. In this work, we evaluate
Dataset2Vec and liltab on two common meta-tasks - representing entire datasets
and hyperparameter optimization warm-start. However, validation on an
independent metaMIMIC dataset highlights the nuanced challenges in
representation learning. We show that general representations may not suffice
for some meta-tasks where requirements are not explicitly considered during
extraction.
[Iwata and Kumagai, 2020] Tomoharu Iwata and Atsutoshi Kumagai. Meta-learning
from Tasks with Heterogeneous Attribute Spaces. In Advances in Neural
Information Processing Systems, 2020.
- Abstract(参考訳): メタ学習のための異種表形式のデータセットを効果的に表現することは、未解決の問題である。
以前のアプローチでは、統計指標やランドマークなど、事前定義されたメタ機能に依存していた。
Dataset2Vecのようなエンコーダベースのモデルは、人間の介入なしに重要なメタ機能を自動的に抽出することができる。
この研究は、GitHub https://github.com/azoz01/liltabで利用可能なLiltabパッケージ内に実装された、新しいエンコーダベースのグラフデータセットの表現を導入している。
本パッケージは,[岩田, 熊谷, 2020]で提案された異種表データの確立されたモデルに基づく。
提案手法は,dataset2vecのような既存手法と比較して,特徴関係のエンコーディングに異なるモデルを用いる。
どちらもデータセット類似性学習の基本的な前提を活用している。
本研究では、データセット全体の表現とハイパーパラメータ最適化のウォームスタートという、2つの一般的なメタタスクでDataset2VecとLiltabを評価する。
しかし、独立したメタMIMICデータセットの検証は、表現学習における煩雑な課題を浮き彫りにする。
一般表現は,要求が抽出中に明示的に考慮されないメタタスクでは十分でないことを示す。
(岩田、熊谷、2020年)岩田知治、熊谷敦俊
異種属性空間を持つタスクからのメタラーニング
ニューラル情報処理システムの進歩 -2020年-
関連論文リスト
- infoVerse: A Universal Framework for Dataset Characterization with
Multidimensional Meta-information [68.76707843019886]
infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。
infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。
実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2023-05-30T18:12:48Z) - Automatic learning algorithm selection for classification via
convolutional neural networks [0.0]
本研究の目的は,メタ機能を特定することなく,データ固有の構造を学習することである。
シミュレーションデータセットを用いた実験により, 線形および非線形パターンの同定において, 提案手法がほぼ完璧な性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-05-16T01:57:01Z) - Which is the best model for my data? [0.0]
提案されたメタ学習アプローチは、機械学習に依存し、4つの主要なステップを含む。
本稿では,正と負の測度を含む集約測度値において,情報消去の問題に対処する62のメタ特徴の集合について述べる。
我々のメタ学習アプローチは、合成データセットの91%と実世界のデータセットの87%に対して、最適なモデルを正確に予測できることを示します。
論文 参考訳(メタデータ) (2022-10-26T13:15:43Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳(メタデータ) (2022-10-24T15:14:26Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - A Case for Dataset Specific Profiling [0.9023847175654603]
データ駆動科学は、科学的な発見が、リッチで規律固有のデータセットに対する計算AIモデルの実行に依存する、新興パラダイムである。
現代的な機械学習フレームワークを使用することで、誰でも科学的応用を可能にするデータに隠された概念を明らかにする計算モデルを開発し、実行することができる。
重要で広く使われているデータセットでは、データセットに対して実行できるすべての計算モデルのパフォーマンスを計算することは、クラウドリソースの点でコストを禁ずる。
論文 参考訳(メタデータ) (2022-08-01T18:38:05Z) - Hyperbolic Vision Transformers: Combining Improvements in Metric
Learning [116.13290702262248]
計量学習のための新しい双曲型モデルを提案する。
本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。
4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
論文 参考訳(メタデータ) (2022-03-21T09:48:23Z) - Label-Free Model Evaluation with Semi-Structured Dataset Representations [78.54590197704088]
ラベルなしモデル評価(AutoEval)は、ラベルなしテストセットでモデル精度を推定する。
画像ラベルがない場合、データセット表現に基づいて、回帰を伴うAutoEvalのモデル性能を推定する。
本稿では,AutoEvalのリッチな情報を含む回帰学習のための半構造化データセット表現を提案する。
論文 参考訳(メタデータ) (2021-12-01T18:15:58Z) - Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。
MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文 参考訳(メタデータ) (2020-07-26T01:50:42Z) - Distribution-Based Invariant Deep Networks for Learning Meta-Features [2.179313476241343]
確率分布からの深層学習の最近の進歩は、分布サンプルの分類や回帰をうまく達成し、したがってサンプルの置換の下では不変である。
提案したアーキテクチャはDidaと呼ばれ、普遍近似のNN特性を継承し、そのロバスト性w.r.t. Lipschitz-bounded transformations of the input distributionが確立される。
この論文は、データセットレベルで定義された2つのタスクに対するアプローチのメリットを実証的かつ相対的に実証している。
論文 参考訳(メタデータ) (2020-06-24T13:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。