論文の概要: AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers

• arxiv url: http://arxiv.org/abs/2607.29626v1
• Date: Fri, 31 Jul 2026 16:58:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.831669
• Title: AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers
• Title（参考訳）: AgentHPOBench: 逐次ハイパーパラメータ最適化としてLLMエージェントを評価するベンチマーク
• Abstract要約: AgentHPOBenchは、7つの研究カテゴリにわたる30の実行可能な機械学習タスクからなる逐次ベンチマークである。 広範に使用されている12のエージェントと従来型のHPOベースラインを統一プロトコルで評価した。 その結果、現在のエージェントは、ドメイン間で測定可能な実験最適化能力を示すが、継続的改善、複雑なログ診断、報告された参照性能への一貫した進歩において、明確な制限に直面していることがわかった。
• 参考スコア（独自算出の注目度）: 39.39345650320786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As LLMs evolve from code completion systems into autonomous scientific agents, evaluating their ability to conduct experiments has become increasingly important. Existing benchmarks typically focus on static code generation, paper replication, or final answer correctness, but do not directly assess whether agents can interpret experimental evidence and use it to guide subsequent hyperparameter decisions. To address this gap, we introduce AgentHPOBench, a sequential benchmark comprising 30 executable machine learning tasks across seven research categories. Each task begins with a validated baseline run, after which an agent performs several sequential interventions. At each step, the agent observes the accumulated configurations, metrics, and logs before proposing the next valid configuration. We evaluate 12 widely used agents and conventional HPO baselines under a unified protocol. The results show that current agents exhibit measurable experimental optimization ability across domains, but still face clear limitations in sustained iterative refinement, complex log diagnosis, and consistent progress toward reported reference performance.
• Abstract（参考訳）: LLMがコード補完システムから自律的な科学エージェントへと進化するにつれて、実験を行う能力を評価することがますます重要になっている。 既存のベンチマークでは、静的コード生成、紙のレプリケーション、最終回答の正しさに重点を置いているが、エージェントが実験的なエビデンスを解釈し、それを使ってその後のハイパーパラメータ決定を導くことができるかどうかを直接評価することはできない。 このギャップに対処するため、AgentHPOBenchは、7つの研究カテゴリにわたる30の実行可能な機械学習タスクからなる逐次ベンチマークである。 各タスクは検証されたベースライン実行から始まり、その後エージェントがいくつかのシーケンシャルな介入を行う。 各ステップでエージェントは、次の有効な設定を提案する前に、蓄積した設定、メトリクス、ログを観察する。 広範に使用されている12のエージェントと従来型のHPOベースラインを統一プロトコルで評価した。 その結果、現在のエージェントは、ドメイン間で測定可能な実験最適化能力を示すが、継続的改善、複雑なログ診断、報告された参照性能への一貫した進歩において、明確な制限に直面していることがわかった。

関連論文リスト

• The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
  推論駆動最適化のための統合フレームワークであるReASearchを提案する。 共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。 我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
  論文  参考訳（メタデータ） (2026-08-07T02:15:39Z)
• From Atomic Actions to Standard Operating Procedures: Iterative Tool Optimization for Self-Evolving LLM Agents [90.3279207163486]
  EvoSOPは、エージェントが実行軌跡からSOPを抽出し、反復的にツールセットを最適化することを可能にするフレームワークである。 EvoSOPはタスク成功率を大幅に向上し,インタラクションラウンドの回数を大幅に削減することを示す。
  論文  参考訳（メタデータ） (2026-07-08T12:09:49Z)
• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• IterInject: Indirect Prompt Injection Against LLM Agents via Feedback-Guided Iterative Optimization [33.58630045185762]
  既存の攻撃は、エージェント固有の防御に適応できない静的ペイロードに依存している。 インジェクション,診断,診断のループを閉じるフィードバック誘導反復型フレームワークである oursys を導入する。 ステップは、失敗パターンから新しい偽の種を生成し、戦略空間を自己進化させる。
  論文  参考訳（メタデータ） (2026-05-23T17:00:06Z)
• Agent psychometrics: Task-level performance prediction in agentic coding benchmarks [24.348135523715815]
  本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。 我々のアプローチは、イシューステートメント、リポジトリコンテキスト、ソリューション、テストケースなど、タスクから抽出された豊富な機能を備えたアイテム応答理論(IRT)を拡張します。
  論文  参考訳（メタデータ） (2026-04-01T07:59:59Z)
• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)
• Alita-G: Self-Evolving Generative Agent for Agent Generation [54.49365835457433]
  汎用エージェントをドメインエキスパートに変換するフレームワークであるALITA-Gを提案する。 このフレームワークでは、ジェネラリストエージェントが対象ドメインタスクのキュレートされたスイートを実行する。 計算コストを削減しながら、大きな利益を得ることができます。
  論文  参考訳（メタデータ） (2025-10-27T17:59:14Z)
• RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic Retrieval Augmented Generation Systems [31.4909149697414]
  Retrieval-Augmented Generation (RAG) はLarge Language Models (LLM) の重要な制限を緩和する 最近の研究はエージェントRAGシステムを通じてこのパラダイムを拡張しており、LLMは複雑なクエリを反復的に計画、検索、推論するエージェントとして機能する。 本稿では,エージェントRAGにおける中間タスクの微粒化評価のための機能指向ベンチマークであるRAGCap-Benchを提案する。
  論文  参考訳（メタデータ） (2025-10-15T04:13:00Z)
• Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
  テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
  論文  参考訳（メタデータ） (2025-08-05T12:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。