論文の概要: LLM Agent for Hyper-Parameter Optimization

• arxiv url: http://arxiv.org/abs/2506.15167v1
• Date: Wed, 18 Jun 2025 06:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.559412
• Title: LLM Agent for Hyper-Parameter Optimization
• Title（参考訳）: ハイパーパラメータ最適化のためのLLMエージェント
• Authors: Wanzhe Wang, Jianqiu Peng, Menghao Hu, Weihuang Zhong, Tong Zhang, Shuai Wang, Yixin Zhang, Mingjie Shao, Wanli Ni,
• Abstract要約: 本稿では,自動ハイパーパラメータチューニングのための大規模言語モデル (LLM) エージェントを提案する。 エージェントはプロンプト要求によって駆動され、探索のために反復的にWS-PSO-CMアルゴリズムを呼び出す。 実験結果から, エージェントを介して生成したハイパーパラメータによる最小和率は, 人やランダムな生成手法よりも有意に高いことがわかった。
• 参考スコア（独自算出の注目度）: 27.801667344330944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyper-parameters are essential and critical for the performance of communication algorithms. However, current hyper-parameters tuning methods for warm-start particles swarm optimization with cross and mutation (WS-PSO-CM) algortihm for radio map-enabled unmanned aerial vehicle (UAV) trajectory and communication are primarily heuristic-based, exhibiting low levels of automation and unsatisfactory performance. In this paper, we design an large language model (LLM) agent for automatic hyper-parameters-tuning, where an iterative framework and model context protocol (MCP) are applied. In particular, the LLM agent is first setup via a profile, which specifies the mission, background, and output format. Then, the LLM agent is driven by the prompt requirement, and iteratively invokes WS-PSO-CM algorithm for exploration. Finally, the LLM agent autonomously terminates the loop and returns a set of hyper-parameters. Our experiment results show that the minimal sum-rate achieved by hyper-parameters generated via our LLM agent is significantly higher than those by both human heuristics and random generation methods. This indicates that an LLM agent with PSO knowledge and WS-PSO-CM algorithm background is useful in finding high-performance hyper-parameters.
• Abstract（参考訳）: ハイパーパラメータは通信アルゴリズムの性能に不可欠であり、不可欠である。 しかしながら、無線地図対応無人航空機 (UAV) 軌道と通信のためのクロス・アンド・突然変異 (WS-PSO-CM) algortihm を用いた温暖化開始粒子群最適化のための現在のハイパーパラメータチューニング手法は、主にヒューリスティックベースであり、低レベルの自動化と不満足な性能を示す。 本稿では,自動ハイパーパラメータチューニングのための大規模言語モデル(LLM)エージェントを設計し,反復的フレームワークとモデルコンテキストプロトコル(MCP)を適用した。 特に、LLMエージェントは、ミッション、バックグラウンド、出力フォーマットを指定するプロファイルを介して最初に設定される。 次に、LCMエージェントをプロンプト要求により駆動し、探索のためにWS-PSO-CMアルゴリズムを反復的に呼び出す。 最後に、LLMエージェントはループを自律的に終了し、一連のハイパーパラメータを返す。 実験の結果, LLMエージェントを用いて生成した超パラメータによる最小和率は, ヒューリスティックス法とランダム生成法の両方で生成した値よりも有意に高いことがわかった。 このことは、PSO知識とWS-PSO-CMアルゴリズムのバックグラウンドを持つLLMエージェントが高性能なハイパーパラメータを見つけるのに有用であることを示している。

関連論文リスト

• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [42.362388367152256]
  大規模言語モデル(LLM)は、LoRAを使用してパラメータ効率の良いCode Llamaを微調整するために使用される。 提案手法は,演算オーバーヘッドを著しく低減しつつ,ルート平均角誤差(RMSE)の点で競争力や優位性を実現する。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• SDPO: Segment-Level Direct Preference Optimization for Social Agents [56.970902914217156]
  大規模言語モデル(LLM)を利用した社会エージェントは、人間の社会的振る舞いをシミュレートできるが、複雑な社会対話を扱うには不十分である。 マルチターンエージェントの動作を最適化するために,対話内のキーセグメントを動的に選択するセグメントレベル直接参照最適化(SDPO)を提案する。
  論文  参考訳（メタデータ） (2025-01-03T14:09:46Z)
• LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
  大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。 LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか? ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T11:18:22Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Hyperparameter Optimization for Large Language Model Instruction-Tuning [6.743825167463901]
  トレーニング済みLLMをブラックボックスとして微調整と検証を行うパイプライン全体について検討する。 本研究では,提案アルゴリズムを用いて高次パラメータの空間を効率的に探索し,チューニングモデルの性能向上と人為的アライメントを実現する。
  論文  参考訳（メタデータ） (2023-12-01T22:03:12Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。