論文の概要: Sequential Large Language Model-Based Hyper-Parameter Optimization

• arxiv url: http://arxiv.org/abs/2410.20302v1
• Date: Sun, 27 Oct 2024 00:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:23.038193
• Title: Sequential Large Language Model-Based Hyper-Parameter Optimization
• Title（参考訳）: 逐次大言語モデルに基づくハイパーパラメータ最適化
• Authors: Kanan Mahammadli,
• Abstract要約: 本研究では,Large Language Models (LLMs)を活用する革新的なフレームワークSLLMBOを紹介する。 SLLMBOは、最近の完全にLLMベースの手法の制限に対処することにより、より堅牢な最適化を実現する。 ベンチマークでは、GPT-3.5-turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-flashを含む複数のLCMを評価している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study introduces SLLMBO, an innovative framework that leverages Large Language Models (LLMs) for hyperparameter optimization (HPO), incorporating dynamic search space adaptability, enhanced parameter landscape exploitation, and a hybrid, novel LLM-Tree-structured Parzen Estimator (LLM-TPE) sampler. By addressing limitations in recent fully LLM-based methods and traditional Bayesian Optimization (BO), SLLMBO achieves more robust optimization. This comprehensive benchmarking evaluates multiple LLMs, including GPT-3.5-turbo, GPT-4o, Claude-Sonnet-3.5, and Gemini-1.5-flash, extending prior work beyond GPT-3.5 and GPT-4 and establishing SLLMBO as the first framework to benchmark a diverse set of LLMs for HPO. By integrating LLMs' established strengths in parameter initialization with the exploitation abilities demonstrated in this study, alongside TPE's exploration capabilities, the LLM-TPE sampler achieves a balanced exploration-exploitation trade-off, reduces API costs, and mitigates premature early stoppings for more effective parameter searches. Across 14 tabular tasks in classification and regression, the LLM-TPE sampler outperformed fully LLM-based methods and achieved superior results over BO methods in 9 tasks. Testing early stopping in budget-constrained scenarios further demonstrated competitive performance, indicating that LLM-based methods generally benefit from extended iterations for optimal results. This work lays the foundation for future research exploring open-source LLMs, reproducibility of LLM results in HPO, and benchmarking SLLMBO on complex datasets, such as image classification, segmentation, and machine translation.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)をハイパーパラメータ最適化(HPO)に活用し,動的探索空間適応性,拡張パラメータランドスケープの活用,LLM-Tree-structured Parzen Estimator(LLM-TPE)のハイブリッド化を実現したSLLMBOを紹介する。 近年の完全LLM法とベイズ最適化(BO)の限界に対処することにより、SLLMBOはより堅牢な最適化を実現する。 この総合的なベンチマークでは、GPT-3.5-turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-flashを含む複数のLCMを評価し、GPT-3.5とGPT-4を超えて以前の作業を延長し、HPO用の多様なLCMをベンチマークする最初のフレームワークとしてSLLMBOを確立する。 本研究のパラメータ初期化におけるLLMの確立した強みと、TPEの探索能力とともに、LLM-TPEサンプルは、バランスの取れた探索-探索トレードオフを達成し、APIコストを低減し、より効果的なパラメータ探索のための早期停止を緩和する。 LLM-TPEサンプリングは, 分類および回帰における14項目の表式タスクに対して, LLM-TPE法よりも優れ, 9タスクでBO法よりも優れた結果を得た。 予算制約のあるシナリオで早期に停止するテストは、さらなる競争性能を示し、LLMベースの手法が一般的に最適な結果を得るために拡張されたイテレーションの恩恵を受けていることを示している。 この研究は、オープンソースLLMの探索、HPOにおけるLLM結果の再現性、画像分類、セグメンテーション、機械翻訳などの複雑なデータセット上でのSLLMBOのベンチマークの基礎となる。

関連論文リスト

• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• ScaleLLM: A Resource-Frugal LLM Serving Framework by Optimizing End-to-End Efficiency [20.33467627548677]
  大規模言語モデル(LLM)は人気が高まり、商用アプリケーションで広く使われている。 LLMサービスシステムにおいて、エンドツーエンドのレイテンシに影響を及ぼす大きなボトルネックを特定するために、詳細な分析を行う。 次に,資源効率の高いLLMサービスのための最適化システムであるScaleLLMを提案する。
  論文  参考訳（メタデータ） (2024-07-23T23:37:29Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• LLM-Oriented Retrieval Tuner [25.563739811422874]
  Dense Retrieval(DR)は現在、LLM(Large Language Models)の記憶能力を高めるための有望なツールと考えられている。 本稿では,LLM から DR 容量を分離する効率的な LLM-Oriented Retrieval Tuner,すなわち LMORT を提案する。 提案手法は,強力なDRモデルと比較して,競争力のあるゼロショット検索性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-04T12:50:25Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• More Samples or More Prompts? Exploring Effective In-Context Sampling for LLM Few-Shot Prompt Engineering [35.086135550672864]
  In-Context Smpling (ICS) を提案し、複数のICLプロンプト入力の構成を最適化し、確実な予測を行う。 3つのデータ類似性に基づくICS戦略による詳細な評価は、これらの戦略がLLMの性能をさらに高める可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-16T11:02:49Z)
• LLM Performance Predictors are good initializers for Architecture Search [28.251129134057035]
  我々は、下流タスクにおける特定のディープニューラルネットワークアーキテクチャの性能を推定するパフォーマンス予測器(PP)を構築した。 機械翻訳 (MT) タスクでは, PPプロンプト (LLM-PP) を用いた GPT-4 は SoTA 平均絶対誤差と, ベースライン予測器と比較してランク相関係数がわずかに低下する。 ニューラルネットワーク探索 (NAS) では, LLM-Distill-PP を用いたハイブリッド探索アルゴリズム (HS-NAS) を導入する。
  論文  参考訳（メタデータ） (2023-10-25T15:34:30Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Zero-Shot Cross-Lingual Summarization via Large Language Models [108.30673793281987]
  言語間要約(CLS)は、異なる対象言語で要約を生成する。 近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。 本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
  論文  参考訳（メタデータ） (2023-02-28T01:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。