論文の概要: Rethinking of Encoder-based Warm-start Methods in Hyperparameter Optimization
- arxiv url: http://arxiv.org/abs/2403.04720v2
- Date: Tue, 19 Mar 2024 16:47:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 20:59:05.016809
- Title: Rethinking of Encoder-based Warm-start Methods in Hyperparameter Optimization
- Title(参考訳): ハイパーパラメータ最適化におけるエンコーダに基づくウォームスタート法の再検討
- Authors: Dawid Płudowski, Antoni Zajko, Anna Kozak, Katarzyna Woźnica,
- Abstract要約: 本研究では,Liltabパッケージ内に実装されたデータセットのエンコーダに基づく新しい表現を提案する。
一般表現は,要求が抽出中に明示的に考慮されないメタタスクでは十分でないことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effectively representing heterogeneous tabular datasets for meta-learning remains an open problem. Previous approaches rely on predefined meta-features, for example, statistical measures or landmarkers. Encoder-based models, such as Dataset2Vec, allow us to extract significant meta-features automatically without human intervention. This research introduces a novel encoder-based representation of tabular datasets implemented within the liltab package available on GitHub https://github.com/azoz01/liltab. Our package is based on an established model for heterogeneous tabular data proposed in [Tomoharu Iwata and Atsutoshi Kumagai. Meta-learning from Tasks with Heterogeneous Attribute Spaces. In Advances in Neural Information Processing Systems, 2020]. The proposed approach employs a different model for encoding feature relationships, generating alternative representations compared to existing methods like Dataset2Vec. Both of them leverage the fundamental assumption of dataset similarity learning. In this work, we evaluate Dataset2Vec and liltab on two common meta-tasks - representing entire datasets and hyperparameter optimization warm-start. However, validation on an independent metaMIMIC dataset highlights the nuanced challenges in representation learning. We show that general representations may not suffice for some meta-tasks where requirements are not explicitly considered during extraction.
- Abstract(参考訳): メタラーニングのための異種表形式のデータセットを効果的に表現することは、未解決の問題である。
以前のアプローチは、例えば統計測度やランドマークのような、事前に定義されたメタ機能に依存していた。
Dataset2Vecのようなエンコーダベースのモデルは、人間の介入なしに重要なメタ機能を自動的に抽出することができる。
この研究は、GitHub https://github.com/azoz01/liltabで利用可能なLiltabパッケージ内に実装された、新しいエンコーダベースのグラフデータセットの表現を導入している。
本パッケージは, 岩田友治, 熊谷篤俊両氏が提唱した異種表型データの確立したモデルに基づく。
提案手法では,Dataset2Vecのような既存手法と比較して,特徴関係を符号化し,代替表現を生成する。
どちらもデータセット類似性学習の基本的な前提を活用している。
本研究では、データセット全体の表現とハイパーパラメータ最適化のウォームスタートという、2つの一般的なメタタスクでDataset2VecとLiltabを評価した。
しかし、独立したメタMIMICデータセットの検証は、表現学習における煩雑な課題を浮き彫りにする。
一般表現は,要求が抽出中に明示的に考慮されないメタタスクでは十分でないことを示す。
関連論文リスト
- Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳(メタデータ) (2023-10-31T18:03:54Z) - Zero-shot Composed Text-Image Retrieval [72.43790281036584]
合成画像検索(CIR)の問題点を考察する。
テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
論文 参考訳(メタデータ) (2023-06-12T17:56:01Z) - infoVerse: A Universal Framework for Dataset Characterization with
Multidimensional Meta-information [68.76707843019886]
infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。
infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。
実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2023-05-30T18:12:48Z) - Automatic learning algorithm selection for classification via
convolutional neural networks [0.0]
本研究の目的は,メタ機能を特定することなく,データ固有の構造を学習することである。
シミュレーションデータセットを用いた実験により, 線形および非線形パターンの同定において, 提案手法がほぼ完璧な性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-05-16T01:57:01Z) - Which is the best model for my data? [0.0]
提案されたメタ学習アプローチは、機械学習に依存し、4つの主要なステップを含む。
本稿では,正と負の測度を含む集約測度値において,情報消去の問題に対処する62のメタ特徴の集合について述べる。
我々のメタ学習アプローチは、合成データセットの91%と実世界のデータセットの87%に対して、最適なモデルを正確に予測できることを示します。
論文 参考訳(メタデータ) (2022-10-26T13:15:43Z) - A Case for Dataset Specific Profiling [0.9023847175654603]
データ駆動科学は、科学的な発見が、リッチで規律固有のデータセットに対する計算AIモデルの実行に依存する、新興パラダイムである。
現代的な機械学習フレームワークを使用することで、誰でも科学的応用を可能にするデータに隠された概念を明らかにする計算モデルを開発し、実行することができる。
重要で広く使われているデータセットでは、データセットに対して実行できるすべての計算モデルのパフォーマンスを計算することは、クラウドリソースの点でコストを禁ずる。
論文 参考訳(メタデータ) (2022-08-01T18:38:05Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Label-Free Model Evaluation with Semi-Structured Dataset Representations [78.54590197704088]
ラベルなしモデル評価(AutoEval)は、ラベルなしテストセットでモデル精度を推定する。
画像ラベルがない場合、データセット表現に基づいて、回帰を伴うAutoEvalのモデル性能を推定する。
本稿では,AutoEvalのリッチな情報を含む回帰学習のための半構造化データセット表現を提案する。
論文 参考訳(メタデータ) (2021-12-01T18:15:58Z) - Hyperparameter Optimization with Differentiable Metafeatures [5.586191108738563]
DMFBS(diffariable Metafeature-based Surrogate)と呼ばれるクロスデータセットサロゲートモデルを提案する。
既存のモデルとは対照的に、DMFBS i) は微分可能なメタ機能抽出器を統合し、i) は新規なマルチタスク損失を用いて最適化される。
DMFBSをHPOの3つの大規模メタデータセットの最近のモデルと比較し、平均10%の改善でその性能を一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2021-02-07T11:06:31Z) - Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。
MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文 参考訳(メタデータ) (2020-07-26T01:50:42Z) - Distribution-Based Invariant Deep Networks for Learning Meta-Features [2.179313476241343]
確率分布からの深層学習の最近の進歩は、分布サンプルの分類や回帰をうまく達成し、したがってサンプルの置換の下では不変である。
提案したアーキテクチャはDidaと呼ばれ、普遍近似のNN特性を継承し、そのロバスト性w.r.t. Lipschitz-bounded transformations of the input distributionが確立される。
この論文は、データセットレベルで定義された2つのタスクに対するアプローチのメリットを実証的かつ相対的に実証している。
論文 参考訳(メタデータ) (2020-06-24T13:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。