論文の概要: Using Large Language Models for Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2312.04528v1
• Date: Thu, 7 Dec 2023 18:46:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 13:31:29.103133
• Title: Using Large Language Models for Hyperparameter Optimization
• Title（参考訳）: ハイパーパラメータ最適化のための大規模言語モデルの利用
• Authors: Michael R. Zhang, Nishkrit Desai, Juhan Bae, Jonathan Lorraine, Jimmy Ba
• Abstract要約: 本稿では,高パラメータ最適化(HPO)において,基礎的大言語モデル(LLM)を用いて決定を行う。 実験的な評価により,LLMは従来のHPO法と同等あるいは同等に動作可能であることが示された。
• 参考スコア（独自算出の注目度）: 31.537306578628556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies using foundational large language models (LLMs) to make decisions during hyperparameter optimization (HPO). Empirical evaluations demonstrate that in settings with constrained search budgets, LLMs can perform comparably or better than traditional HPO methods like random search and Bayesian optimization on standard benchmarks. Furthermore, we propose to treat the code specifying our model as a hyperparameter, which the LLM outputs, going beyond the capabilities of existing HPO approaches. Our findings suggest that LLMs are a promising tool for improving efficiency in the traditional decision-making problem of hyperparameter optimization.
• Abstract（参考訳）: 本稿では,超パラメータ最適化(HPO)において,基礎的大言語モデル(LLM)を用いて意思決定を行う。 実験的な評価は、制約付き検索予算の設定において、LLMは標準ベンチマークにおけるランダム検索やベイズ最適化のような従来のHPO手法よりも、可逆的あるいは優れた性能を発揮することを示した。 さらに、llmが出力するハイパーパラメータとしてモデルを指定するコードを、既存のhpoアプローチの能力を超えて扱うことを提案します。 この結果から, LLMは従来の超パラメータ最適化の意思決定問題において, 効率向上のための有望なツールであることが示唆された。

関連論文リスト

• In-the-loop Hyper-Parameter Optimization for LLM-Based Automated Design of Heuristics [0.020482269513546456]
  大規模言語モデル(LLM)は、(メタ)ヒューリスティックを自動的に生成し最適化する大きな可能性を示している。 本稿では,オープンソースのLLaMEAフレームワークとハイパー進化最適化(HPO)手法を統合した新しいハイブリッドアプローチであるLLaMEA-HPOを提案する。
  論文  参考訳（メタデータ） (2024-10-07T14:04:31Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Large Language Model-Based Evolutionary Optimizer: Reasoning with elitism [1.1463861912335864]
  大規模言語モデル(LLM)は、顕著な推論能力を示している。 本稿では,LLMが様々なシナリオにまたがるゼロショット最適化能力を有していることを主張する。 LLMを用いた数値最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T13:57:37Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• A Comparative study of Hyper-Parameter Optimization Tools [2.6097538974670935]
  我々は、4つのpythonライブラリ、すなわちOptuna、Hyperopt、Optunity、およびシーケンシャルモデルアルゴリズム構成(SMAC)の性能を比較した。 私たちは、OptunaがCASH問題とNeurIPSのブラックボックス最適化の課題に対してより良いパフォーマンスを持つことを発見した。
  論文  参考訳（メタデータ） (2022-01-17T14:49:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。