論文の概要: Hyperparameter Optimization with Differentiable Metafeatures

• arxiv url: http://arxiv.org/abs/2102.03776v1
• Date: Sun, 7 Feb 2021 11:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:36:26.816131
• Title: Hyperparameter Optimization with Differentiable Metafeatures
• Title（参考訳）: 微分メタ機能を用いたハイパーパラメータ最適化
• Authors: Hadi S. Jomaa, Lars Schmidt-Thieme, Josif Grabocka
• Abstract要約: DMFBS(diffariable Metafeature-based Surrogate)と呼ばれるクロスデータセットサロゲートモデルを提案する。 既存のモデルとは対照的に、DMFBS i) は微分可能なメタ機能抽出器を統合し、i) は新規なマルチタスク損失を用いて最適化される。 DMFBSをHPOの3つの大規模メタデータセットの最近のモデルと比較し、平均10%の改善でその性能を一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 5.586191108738563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metafeatures, or dataset characteristics, have been shown to improve the performance of hyperparameter optimization (HPO). Conventionally, metafeatures are precomputed and used to measure the similarity between datasets, leading to a better initialization of HPO models. In this paper, we propose a cross dataset surrogate model called Differentiable Metafeature-based Surrogate (DMFBS), that predicts the hyperparameter response, i.e. validation loss, of a model trained on the dataset at hand. In contrast to existing models, DMFBS i) integrates a differentiable metafeature extractor and ii) is optimized using a novel multi-task loss, linking manifold regularization with a dataset similarity measure learned via an auxiliary dataset identification meta-task, effectively enforcing the response approximation for similar datasets to be similar. We compare DMFBS against several recent models for HPO on three large meta-datasets and show that it consistently outperforms all of them with an average 10% improvement. Finally, we provide an extensive ablation study that examines the different components of our approach.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)の性能向上のために,メタ機能,すなわちデータセット特性が示されている。 従来、メタデータは事前計算され、データセット間の類似度を測定するために使用され、HPOモデルのより優れた初期化につながる。 本稿では,DMFBS(diffariable Metafeature-based Surrogate)と呼ばれる,ハイパーパラメータ応答を予測するクロスデータセットサロゲートモデルを提案する。 検証損失 – 手元のデータセットでトレーニングされたモデルの検証損失。 既存のモデルとは対照的に、dmfbs i) は微分可能なメタ特徴抽出器を統合し、ii) 新しいマルチタスク損失を用いて最適化され、多様体正規化と補助データセット識別メタタスクで学習されたデータセット類似度測度をリンクし、類似したデータセットに対する応答近似を効果的に強制する。 DMFBSをHPOの3つの大規模メタデータセットの最近のモデルと比較し、平均10%の改善でその性能を一貫して上回っていることを示す。 最後に、我々のアプローチの異なるコンポーネントを調べるための広範囲なアブレーション研究を提供する。

関連論文リスト

• Revisiting the Evaluation of Image Synthesis with GANs [71.60061848785543]
  本研究は, GANを生成モデルの代表として用いて, 合成性能評価に関する実証的研究を行った。 特に,特徴空間におけるデータポイントの表現方法,選択したサンプルを用いた公平距離の計算方法,各集合から使用するインスタンス数について,詳細な分析を行う。 複数のデータセットと設定に関する実験から、(1)CNNベースのアーキテクチャとViTベースのアーキテクチャの両方を含むモデル群が信頼性が高く堅牢な特徴抽出器として機能し、(2)CKA(Centered Kernel Alignment)は、様々な抽出器間で比較しやすくすることを示唆している。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Which is the best model for my data? [0.0]
  提案されたメタ学習アプローチは、機械学習に依存し、4つの主要なステップを含む。 本稿では,正と負の測度を含む集約測度値において,情報消去の問題に対処する62のメタ特徴の集合について述べる。 我々のメタ学習アプローチは、合成データセットの91%と実世界のデータセットの87%に対して、最適なモデルを正確に予測できることを示します。
  論文  参考訳（メタデータ） (2022-10-26T13:15:43Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Conceptually Diverse Base Model Selection for Meta-Learners in Concept Drifting Data Streams [3.0938904602244355]
  本稿では,基礎となる部分空間間の主アングル(PA)を用いて計算したベースモデルの概念的類似性を推定するための新しいアプローチを提案する。 オンライン・トランスファー・ラーニング(TL)の文脈における共通アンサンブル・プルーニング・メトリクス、すなわち予測性能と相互情報(MI)を用いた閾値付けに対するこれらの手法の評価を行った。 その結果、概念的類似度閾値は計算オーバーヘッドを低減し、予測性能とMIを用いて閾値に匹敵する予測性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T13:18:53Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation [22.064890647610348]
  本稿では,アクティベーションのメモリにおける近接するトークンのパラメータ化表現を用いたパラメータ化近傍メモリ適応(PNMA)手法を提案する。 単語埋め込みの種類に関係なく,PNMAはベースモデルのSRL性能を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2020-11-29T22:51:25Z)
• Multi-Person Pose Estimation with Enhanced Feature Aggregation and Selection [33.15192824888279]
  複数人物のポーズ推定のためのEFASNet(Enhanced Feature Aggregation and Selection Network)を提案する。 我々の手法は、混み合った、散らばった、ぎこちないシーンをうまく扱える。 総合的な実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-03-20T08:33:25Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。