論文の概要: Are encoders able to learn landmarkers for warm-starting of Hyperparameter Optimization?

• arxiv url: http://arxiv.org/abs/2507.12604v1
• Date: Wed, 16 Jul 2025 19:50:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.262997
• Title: Are encoders able to learn landmarkers for warm-starting of Hyperparameter Optimization?
• Title（参考訳）: エンコーダはハイパーパラメータ最適化のウォームスタートのためのランドマークを学習できるか?
• Authors: Antoni Zajko, Katarzyna Woźnica,
• Abstract要約: 本稿では,メタタスクに適した表現学習法を2つ提案する。 第一のアプローチはディープメトリック学習であり、第二のアプローチはランドマークの再構築に基づいている。 実験により,提案したエンコーダはランドマークと整合した表現を効果的に学習できるが,直接的に性能向上に寄与しないことが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effectively representing heterogeneous tabular datasets for meta-learning purposes is still an open problem. Previous approaches rely on representations that are intended to be universal. This paper proposes two novel methods for tabular representation learning tailored to a specific meta-task - warm-starting Bayesian Hyperparameter Optimization. Both follow the specific requirement formulated by ourselves that enforces representations to capture the properties of landmarkers. The first approach involves deep metric learning, while the second one is based on landmarkers reconstruction. We evaluate the proposed encoders in two ways. Next to the gain in the target meta-task, we also use the degree of fulfillment of the proposed requirement as the evaluation metric. Experiments demonstrate that while the proposed encoders can effectively learn representations aligned with landmarkers, they may not directly translate to significant performance gains in the meta-task of HPO warm-starting.
• Abstract（参考訳）: メタ学習の目的のために、異質な表層データセットを効果的に表現することは、まだ未解決の問題である。 それまでのアプローチは普遍性を意図した表現に依存していた。 本稿では,特定のメタタスク,ウォームスタート型ベイズハイパーパラメータ最適化に適した表表表現学習法を2つ提案する。 どちらも、ランドマークのプロパティをキャプチャするために表現を強制する、自分自身によって策定された特定の要件に従います。 第1のアプローチはディープメトリック学習であり、第2のアプローチはランドマークの再構築に基づいている。 提案するエンコーダを2つの方法で評価する。 目標メタタスクの利得に加えて,提案した要件を満たす度合いを評価指標として用いる。 実験により,提案エンコーダはランドマークに整合した表現を効果的に学習できるが,HPOウォームスタートのメタタスクにおいて,直接的に性能向上に寄与しないことが示された。

関連論文リスト

• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• Rethinking of Encoder-based Warm-start Methods in Hyperparameter Optimization [0.0]
  本研究では,岩田具治と熊谷篤俊をモデルとした表型データを用いた表現学習手法を提案する。 一般表現は,要求が抽出中に明示的に考慮されないメタタスクでは十分でないことを示す。
  論文  参考訳（メタデータ） (2024-03-07T18:16:29Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Towards Sample-efficient Overparameterized Meta-learning [37.676063120293044]
  機械学習における包括的なゴールは、少数のサンプルで一般化可能なモデルを構築することである。 本稿ではメタラーニングにおけるパラメータ化の克服を目的とする。 最適表現の学習はタスク認識正規化を設計する問題と一致することを示す。
  論文  参考訳（メタデータ） (2022-01-16T21:57:17Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Kernel Ridge Regression Using Importance Sampling with Application to Seismic Response Prediction [1.4180331276028657]
  効率的な2段階アプローチを用いて,多様性を促進する新しいランドマーク選択法を提案する。 また, 地震荷重と材料不確実性による構造応答予測のためのカーネル手法の新たな適用法を用いて, いくつかのランドマーク選択手法の性能について検討した。
  論文  参考訳（メタデータ） (2020-09-19T01:44:56Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。