論文の概要: Interim Report on Human-Guided Adaptive Hyperparameter Optimization with Multi-Fidelity Sprints

• arxiv url: http://arxiv.org/abs/2505.09792v1
• Date: Wed, 14 May 2025 20:38:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.101476
• Title: Interim Report on Human-Guided Adaptive Hyperparameter Optimization with Multi-Fidelity Sprints
• Title（参考訳）: マルチファイダリティスプリントを用いた適応型ハイパーパラメータ最適化の中間報告
• Authors: Michael Kamfonas,
• Abstract要約: このケーススタディでは、マルチタスク自然言語モデルの変種を比較するために、フェーズドハイパーパラメータ最適化プロセスを適用する。 我々は,多相性,ハイパーパラメータ空間プルーニング,プログレッシブ・ハーヴィング,そして人間の指導の度合いを生かした,短いベイズ最適化セッションを採用している。 本稿では,Eberts と Ulges が提案した 2021 Joint Entity and Relation extract model の変種集合について実演する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This case study applies a phased hyperparameter optimization process to compare multitask natural language model variants that utilize multiphase learning rate scheduling and optimizer parameter grouping. We employ short, Bayesian optimization sessions that leverage multi-fidelity, hyperparameter space pruning, progressive halving, and a degree of human guidance. We utilize the Optuna TPE sampler and Hyperband pruner, as well as the Scikit-Learn Gaussian process minimization. Initially, we use efficient low-fidelity sprints to prune the hyperparameter space. Subsequent sprints progressively increase their model fidelity and employ hyperband pruning for efficiency. A second aspect of our approach is using a meta-learner to tune threshold values to resolve classification probabilities during inference. We demonstrate our method on a collection of variants of the 2021 Joint Entity and Relation Extraction model proposed by Eberts and Ulges.
• Abstract（参考訳）: このケーススタディでは,多相学習率スケジューリングとオプティマイザパラメータグループ化を利用したマルチタスク自然言語モデルの比較のために,位相パラメータ最適化プロセスを適用した。 我々は,多相性,ハイパーパラメータ空間プルーニング,プログレッシブ・ハーヴィング,そして人間の指導の度合いを生かした,短いベイズ最適化セッションを採用している。 我々は、Optuna TPEサンプルとHyperband pruner、およびScikit-Learn Gaussianプロセスの最小化を利用する。 最初は、効率のよい低忠実度スプリントを使用して、ハイパーパラメータ空間をプルークする。 その後のスプリントは、モデルの忠実度を徐々に増加させ、効率を上げるためにハイパーバンドプルーニングを採用する。 提案手法の2つ目の側面は,メタラーナーを用いてしきい値の調整を行い,推論中の分類確率を解くことである。 本稿では,Eberts と Ulges が提案した 2021 Joint Entity and Relation extract model の変種集合について実演する。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Improving Hyperparameter Learning under Approximate Inference in Gaussian Process Models [18.134776677795077]
  本研究では,変分推論(VI)と学習目標との相互作用に着目した。 我々は、共役計算VIを推論に利用するハイブリッドトレーニング手順を設計する。 我々は、幅広いデータセットで提案の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-06-07T07:15:08Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach [0.0]
  教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。 教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。 本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
  論文  参考訳（メタデータ） (2022-06-30T23:41:47Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models [0.4079265319364249]
  現在の最先端の方法は、ランダムフォレストまたはガウスプロセスを利用してサーロゲートモデルを構築しています。 勾配向上に基づく新しいサロゲートモデルを提案する。 実験により,新しい手法は,ある程度の分類問題に対して,最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-06T22:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。