論文の概要: LLMSYS-HPOBench: Hyperparameter Optimization Benchmark Suite for Real-World LLM Systems

• arxiv url: http://arxiv.org/abs/2605.08305v1
• Date: Fri, 08 May 2026 12:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.551954
• Title: LLMSYS-HPOBench: Hyperparameter Optimization Benchmark Suite for Real-World LLM Systems
• Title（参考訳）: LLMSYS-HPOBench:Hyperparameter Optimization Benchmark Suite for Real-World LLM Systems
• Authors: Siyu Wu, Yulong Ye, Zezhen Xiang, Pengzhou Chen, Gangda Xiong, Tao Chen,
• Abstract要約: 大規模言語モデル(LLM)システムは、多くのアプリケーションドメインにおけるAIのフロンティアである。 本稿では,実世界のLLMシステムのHPOのためのベンチマークスイートとデータセットについて述べる。
• 参考スコア（独自算出の注目度）: 6.176867520244386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) systems have been the frontier of AI in many application domains, leading to new challenges and opportunities for hyperparameter optimization (HPO) for the AutoML community. However, this type of system exhibits an unprecedented compound space of hyperparameter configuration from both the AI and non-AI components; rich and nonlinear implications from the fidelity factors; and diverse costs of measuring hyperparameter configurations, none of which have been fully captured in existing benchmarks. This paper presents the first (live) benchmark suite and datasets for HPO of real-world LLM systems, dubbed LLMSYS-HPOBench, covering data related to the inference objective values of hyperparameter configurations profiled from running the LLM systems. Currently, LLMSYS-HPOBench contains 364,450 hyperparameter configurations with a dimensionality of 12-23, 3-5 dimensions of fidelity factor leading to 932 settings, 3-9 inference objective metrics, and 2-10 cost metrics, together with generated logs from measuring the LLM systems. What we seek to advocate is not only a revalidation of the existing HPO algorithms over the frontier LLM systems, but also to provide an evolving platform for the AutoML community to explore new directions of research in this regard. The benchmark suite has been made available at: https://github.com/ideas-labo/llmsys-hpobench
• Abstract（参考訳）: 大規模言語モデル(LLM)システムは、多くのアプリケーションドメインにおけるAIのフロンティアであり、AutoMLコミュニティにおけるハイパーパラメータ最適化(HPO)の新たな課題と機会につながっている。 しかし、この種のシステムは、AIコンポーネントと非AIコンポーネントの両方からのハイパーパラメータ構成の既往の複合空間、忠実度要因からのリッチで非線形な含意、ハイパーパラメータ構成を測定するための多種多様なコストを示しており、いずれも既存のベンチマークでは完全に捉えられていない。 本稿では、LLMSYS-HPOBenchと呼ばれる実世界のLLMシステムのHPOのための最初の(ライブ)ベンチマークスイートとデータセットについて述べる。 現在、LLMSYS-HPOBenchは、次元が12-23の364,450のハイパーパラメータ構成、932のセッティングに繋がる3,5次元の忠実度係数、3,9の推論目標メトリクス、2-10のコストメトリクス、およびLLMシステムの測定から生成されたログを含む。 我々が提唱しようとしているのは、フロンティアのLLMシステムに対する既存のHPOアルゴリズムの再検証だけでなく、AutoMLコミュニティがこの点における新たな研究方向を探求するための、進化したプラットフォームを提供することです。 ベンチマークスイートは、https://github.com/ideas-labo/llmsys-hpobench.comで公開されている。

関連論文リスト

• LLM Agent for Hyper-Parameter Optimization [27.801667344330944]
  本稿では,自動ハイパーパラメータチューニングのためのLarge Language Model (LLM) エージェントを設計する。 実験の結果, LLMエージェントを用いて生成した超パラメータによる最小和率は, 人・ランダム生成法ともに有意に高いことがわかった。
  論文  参考訳（メタデータ） (2025-06-18T06:28:22Z)
• Optimizing the Interface Between Knowledge Graphs and LLMs for Complex Reasoning [0.0]
  知識グラフを用いた大規模言語モデル(LLM) Cognaneは、エンドツーエンドのKG構築と検索のためのモジュラーフレームワークである。 チャンキング、グラフ構築、検索、プロンプトに関連するパラメータを最適化する。
  論文  参考訳（メタデータ） (2025-05-30T11:27:59Z)
• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [45.58422897857411]
  この研究は、LoRAを用いてパラメータ効率の良いCode Llamaを微調整することで、ハイパーパラメータ最適化のための大規模言語モデル(LLM)の使用について検討する。 提案手法は,計算オーバーヘッドを大幅に削減しつつ,競合的あるいは優れたRoot Mean Square Error(RMSE)を実現する。 その結果,LLMに基づく最適化によって,木構造型パーゼンエミュレータ (TPE) のようなベイズ的手法が確立されただけでなく,知覚品質と低レイテンシ処理を必要とする実世界のアプリケーションへのチューニングが高速化された。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Scaffolded Language Models with Language Supervision for Mixed-Autonomy: A Survey [52.00674453604779]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。