論文の概要: Simple Meta-Learning for HPO and CASH Using Performance Representations

• arxiv url: http://arxiv.org/abs/2611.07659v1
• Date: Thu, 05 Nov 2026 08:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.60721
• Title: Simple Meta-Learning for HPO and CASH Using Performance Representations
• Title（参考訳）: 性能表現を用いたHPOとCASHの簡易メタラーニング
• Abstract要約: 本研究では,従来のタスクにまたがって,各構成をその履歴的パフォーマンスとして記述するメタ学習表現について検討する。 我々は,この表現を,多様性に基づくレコメンデータシステムの再評価基準であるMMR(Maximal marginal Relevance)に適用する。 TabArenaベンチマークで複数のモデルを選択して最適化する場合、線形ベイズリッジ回帰モデルと組み合わせたパフォーマンスベースの表現は、専用のメタラーニングベースラインを上回っます。
• 参考スコア（独自算出の注目度）: 2.8056157618111186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization for Hyperparameter Optimization (HPO) and Combined Algorithm Selection and Hyperparameter Optimization (CASH) often relies on explicit hyperparameter encodings as surrogate inputs. In high-dimensional search spaces, however, such representations can make it difficult for standard surrogates to learn useful performance models. We instead study an alternative meta-learning representation that describes each configuration directly as its historical performance across prior tasks. This representation can be paired directly with standard surrogate models. Our scope is the iterative selection component of AutoML, deciding which configuration to evaluate next from a fixed candidate set, rather than a complete framework with features such as runtime estimation, cost-aware budgeting and ensembling. We further apply this representation to maximal marginal relevance (MMR), a diversity-based re-ranking criterion from recommender systems, as a posterior-free acquisition rule. When selecting and optimising across multiple models on the TabArena benchmark, the performance-based representation paired with a linear Bayesian ridge regression model outperforms dedicated meta-learning baselines, achieving the same tuned performance in roughly half the number of trials. For single-model HPO, it remains a competitive second. Across both benchmarks this method closely matches or improves on regret at a fraction of the complexity and cost, requiring no pre-training or tuning and scaling independently of search space dimensionality. Code for reproducing our results is available at https://github.com/EWitting/simple-metalearning.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)とアルゴリズム選択とハイパーパラメータ最適化(CASH)の組み合わせに対するベイズ最適化は、しばしばサロゲート入力として明示的なハイパーパラメータ符号化に依存している。 しかし、高次元の探索空間では、そのような表現は標準サロゲートが有用な性能モデルを学ぶのを難しくする。 代わりに、各構成を過去のタスクにまたがる履歴的パフォーマンスとして直接記述する代替メタラーニング表現について研究する。 この表現は、標準サロゲートモデルと直接ペアリングすることができる。 当社のスコープはAutoMLの反復的な選択コンポーネントで、ランタイム推定やコスト認識の予算設定、アンサンブルといった機能を備えた完全なフレームワークではなく、固定された候補セットから次にどの設定を評価するかを決めます。 さらに,この表現を,多様性に基づくレコメンダシステムの再評価基準であるMMR(Maximal marginal Relevance)に,後方自由獲得規則として適用する。 TabArenaベンチマークで複数のモデルを選択し、最適化する場合、線形ベイズリッジ回帰モデルと組み合わせたパフォーマンスベースの表現は、専用のメタラーニングベースラインよりも優れ、トライアルの約半分で同じチューニングされたパフォーマンスを達成する。 シングルモデルHPOにとって、これは競争力のある第2位だ。 どちらのベンチマークでも、この手法は複雑さとコストのごく一部で、検索空間の次元とは独立して事前トレーニングやチューニング、スケーリングを必要とせず、後悔の度合いや改善を行う。 結果の再現コードはhttps://github.com/EWitting/simple-metalearning.comで公開されている。

関連論文リスト

• POLCA: Stochastic Generative Optimization with LLM [26.342554900977003]
  局所文脈を用いた優先順位付け最適化(POLCA)を導入する。 POLCAは、最適化におけるパラメータ性を扱うために設計されたスケーラブルなフレームワークである。 我々は,POLCAが頑健,サンプル,時間効率の両立を実証した。
  論文  参考訳（メタデータ） (2026-03-16T03:07:44Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• SimPER: A Minimalist Approach to Preference Alignment without Hyperparameters [40.64474084442168]
  SimPERは言語モデルアライメントのための効果的な選好最適化アルゴリズムである。 SimPERは実装が容易で、高価なハイパーパラメータチューニングと参照モデルを必要としない。 SimPERは、既存のアプローチよりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-02T19:25:41Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Dynamic Surrogate Switching: Sample-Efficient Search for Factorization Machine Configurations in Online Recommendations [0.0]
  本研究は, 最適化時のサロゲートの動的切替が実用的妥当性の合理的な考え方であるかどうかを考察する。 確立したベースラインに対して、数十億のインスタンスを含むデータセットのベンチマークを実施しました。 その結果,サロゲートスイッチングは学習エンジンの評価を減らしながら優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-09-29T07:29:38Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。