論文の概要: LLM Agent for Hyper-Parameter Optimization

• arxiv url: http://arxiv.org/abs/2506.15167v2
• Date: Wed, 09 Jul 2025 13:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 15:30:52.478951
• Title: LLM Agent for Hyper-Parameter Optimization
• Title（参考訳）: ハイパーパラメータ最適化のためのLLMエージェント
• Authors: Wanzhe Wang, Jianqiu Peng, Menghao Hu, Weihuang Zhong, Tong Zhang, Shuai Wang, Yixin Zhang, Mingjie Shao, Wanli Ni,
• Abstract要約: 本稿では,自動ハイパーパラメータチューニングのためのLarge Language Model (LLM) エージェントを設計する。 実験の結果, LLMエージェントを用いて生成した超パラメータによる最小和率は, 人・ランダム生成法ともに有意に高いことがわかった。
• 参考スコア（独自算出の注目度）: 27.801667344330944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyper-parameters are essential and critical for the performance of communication algorithms. However, current hyper-parameters optimization approaches for Warm-Start Particles Swarm Optimization with Crossover and Mutation (WS-PSO-CM) algorithm, designed for radio map-enabled unmanned aerial vehicle (UAV) trajectory and communication, are primarily heuristic-based, exhibiting low levels of automation and improvable performance. In this paper, we design an Large Language Model (LLM) agent for automatic hyper-parameters-tuning, where an iterative framework and Model Context Protocol (MCP) are applied. In particular, the LLM agent is first set up via a profile, which specifies the boundary of hyper-parameters, task objective, terminal condition, conservative or aggressive strategy of optimizing hyper-parameters, and LLM configurations. Then, the LLM agent iteratively invokes WS-PSO-CM algorithm for exploration. Finally, the LLM agent exits the loop based on the terminal condition and returns an optimized set of hyperparameters. Our experiment results show that the minimal sum-rate achieved by hyper-parameters generated via our LLM agent is significantly higher than those by both human heuristics and random generation methods. This indicates that an LLM agent with PSO and WS-PSO-CM algorithm knowledge is useful in seeking high-performance hyper-parameters.
• Abstract（参考訳）: ハイパーパラメータは通信アルゴリズムの性能に不可欠であり、不可欠である。 しかしながら、無線地図対応無人航空機(UAV)軌道と通信のために設計されたWarm-Start Particles Swarm Optimization with Crossover and Mutation (WS-PSO-CM)アルゴリズムの現在のハイパーパラメータ最適化アプローチは、主にヒューリスティックベースであり、自動化のレベルが低く、即効性のある性能を示す。 本稿では,大規模言語モデル (LLM) エージェントを設計し,反復的フレームワークとモデルコンテキストプロトコル (MCP) を適用した。 特に、LLMエージェントは、まず、ハイパーパラメータの境界、タスク目標、端末条件、ハイパーパラメータを最適化する保守的または攻撃的戦略、LCM設定を指定するプロファイルを介して設定される。 そして、LLMエージェントは、探索のためにWS-PSO-CMアルゴリズムを反復的に呼び出す。 最後に、LLMエージェントは端末条件に基づいてループを終了し、最適化されたハイパーパラメータセットを返す。 実験の結果, LLMエージェントを用いて生成した超パラメータによる最小和率は, ヒューリスティックス法とランダム生成法の両方で生成した値よりも有意に高いことがわかった。 このことは、PSOおよびWS-PSO-CMアルゴリズムの知識を持つLLMエージェントが高性能なハイパーパラメータを求めるのに有用であることを示している。

関連論文リスト

• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [42.362388367152256]
  大規模言語モデル(LLM)は、LoRAを使用してパラメータ効率の良いCode Llamaを微調整するために使用される。 提案手法は,演算オーバーヘッドを著しく低減しつつ,ルート平均角誤差(RMSE)の点で競争力や優位性を実現する。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• SDPO: Segment-Level Direct Preference Optimization for Social Agents [56.970902914217156]
  大規模言語モデル(LLM)を利用した社会エージェントは、人間の社会的振る舞いをシミュレートできるが、複雑な社会対話を扱うには不十分である。 マルチターンエージェントの動作を最適化するために,対話内のキーセグメントを動的に選択するセグメントレベル直接参照最適化(SDPO)を提案する。
  論文  参考訳（メタデータ） (2025-01-03T14:09:46Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Hyperparameter Optimization for Large Language Model Instruction-Tuning [6.743825167463901]
  トレーニング済みLLMをブラックボックスとして微調整と検証を行うパイプライン全体について検討する。 本研究では,提案アルゴリズムを用いて高次パラメータの空間を効率的に探索し,チューニングモデルの性能向上と人為的アライメントを実現する。
  論文  参考訳（メタデータ） (2023-12-01T22:03:12Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。