論文の概要: Beyond Scripted Search: Sample-Efficient Reward Discovery via Agentic Black-box Optimization

• arxiv url: http://arxiv.org/abs/2609.32394v1
• Date: Sat, 26 Sep 2026 09:14:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:33:56.289152
• Title: Beyond Scripted Search: Sample-Efficient Reward Discovery via Agentic Black-box Optimization
• Title（参考訳）: スクリプト検索を超えて:エージェントブラックボックス最適化によるサンプル効率の良いリワードディスカバリ
• Abstract要約: 本稿では,複雑な制御タスクのためのエージェント・リワードブラックボックス最適化(ARBO)フレームワークを提案する。 エージェントは、その永続的なワークスペースとして維持された評価履歴から、実行時に検索戦略を構築する。 ARBOは操作成功率29.9%、パワーグリッドスコア192.8%をベースライン平均で達成している。
• 参考スコア（独自算出の注目度）: 3.058209113365598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing dense reward functions for low-level reinforcement learning (RL) control remains difficult. Recent work uses large language models (LLMs) to iteratively generate and refine reward functions using policy-training feedback within scripted search algorithms. However, evaluating each candidate requires a full RL training run, making sample efficiency a central challenge for reward search on complex control tasks. To address this limitation, we propose an Agentic Reward Black-box Optimization (ARBO) framework, in which an LLM agent builds the search strategy at run time from an evaluation history maintained as its persistent workspace. The evaluation history comprises two components: observations maintained by the evaluation oracle, including candidate scores, per-term training curves, and error tracebacks; and an agent-maintained belief that records diagnoses and intended next steps. The agent queries both with tools and generates the next batch of reward candidates, rather than generating them in a single pass from a fixed prompt. Across four control domains, ARBO achieves gains of 29.9% in manipulation success rate and 192.8% in power-grid score over baseline means under a shared evaluation budget. Ablations examine each component's contribution and sensitivity to backbone choice.
• Abstract（参考訳）: 低レベル強化学習(RL)制御のための高密度報酬関数の設計は依然として困難である。 最近の研究は、大規模言語モデル(LLM)を用いて、スクリプト検索アルゴリズム内でポリシー学習フィードバックを用いて報酬関数を反復的に生成し、洗練する。 しかしながら、各候補の評価には完全なRLトレーニング実行が必要であるため、複雑な制御タスクに対する報酬探索において、サンプル効率が中心的な課題となる。 この制限に対処するために,LLMエージェントが永続的な作業空間として維持される評価履歴から実行時に検索戦略を構築する,エージェント・リワード・ブラックボックス最適化(ARBO)フレームワークを提案する。 評価履歴は、評価オラクルによって維持される観察、候補スコア、期間ごとのトレーニング曲線、エラートレースバック、および診断と次のステップを記録するためのエージェント保守された信念の2つの要素から構成される。 エージェントはツールを問合せし、固定プロンプトから1回のパスで生成するのではなく、次の報酬候補のバッチを生成する。 4つの制御領域全体で、ARBOは操作成功率29.9%、ベースライン平均よりもパワーグリッドスコア192.8%の利益を評価予算で達成している。 アブレーションは各コンポーネントのバックボーン選択に対する寄与と感受性を調べる。

関連論文リスト

• Strategy Accumulation and Guided Execution for Automated LLM Fine-Tuning [55.45800745117191]
  SAGE(Strategy Accumulation and Guided Execution)は、自動微調整検索を累積化するフレームワークである。 単ラウンド実行では、SAGEの累積経験はベースラインに対する平均相対的な改善を3.2%から15.6%に引き上げる。 これらの結果は、永続的な戦略経験が、目に見えないタスクを自動微調整するための効果的なガイダンスを提供することを示している。
  論文  参考訳（メタデータ） (2026-09-06T09:18:03Z)
• Step-by-Step Optimization-like Reasoning in LLMs over Expanding Search Spaces [63.82675722580452]
  OPT*は、LLMのステップバイステップ最適化のような推論を訓練し評価するための最適化スタイルのタスクのファミリーである。 各タスクは実現可能性チェッカーと評価器を提供し、一方、複雑性パラメータは新しい人間ラベルを必要とせずに検索スペースを拡大する。 OPT*のトレーニングは、ステップバイステップの最適化のような推論を改善する。
  論文  参考訳（メタデータ） (2026-06-03T21:43:38Z)
• Benchmarking the Limits of In-Context Reinforcement Learning for Ad-Hoc Teamwork [45.63941874462679]
  In-Context Reinforcement Learning (ICRL)は、ファンデーションエージェントが新しいタスクに即時に適応することを可能にするが、Ad-Hoc Teamwork (AHT)において、未知のパートナとの協調が不要な場合、その有効性は未検討のままである。 本稿では,Overcooked-V2 の高スループット JAX 実装をベースに構築された大規模ベンチマーク ICRL4AHT を紹介する。 我々は, アルゴリズム蒸留 (AD) やDPT (Decision-Pretrained Transformer) など, 数百万の遷移にまたがる代表的履歴条件ICRLアルゴリズムを評価する。
  論文  参考訳（メタデータ） (2026-05-23T06:39:21Z)
• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training [28.912613644535668]
  本稿では,エージェント検索訓練におけるデータ効率向上のためのフレームワークPRAISEを提案する。 本手法は,検索ポリシー学習とプレフィックス応答評価の両方に,単一の共有モデルを用いる。 マルチホップQAベンチマークの実験では、PRAISEは強いベースラインよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-04-04T10:23:46Z)
• APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution [10.643859464982071]
  APEX-Searcherは、大規模言語モデル(LLM)検索能力を増強する新しいエージェントプランニングおよび実行フレームワークである。 戦略計画の最適化のために、まずRLを分解特異的な報酬として採用する。 その後、高品質なマルチホップ軌道の教師付き微調整を適用し、ロバストな反復的なサブタスク実行能力を持つモデルに装備する。
  論文  参考訳（メタデータ） (2026-03-14T09:17:12Z)
• RF-Agent: Automated Reward Function Design via Language Agent Tree Search [24.035699489071174]
  RF-Agentは大規模言語モデルを言語エージェントとして扱うフレームワークである。 報酬関数設計をシーケンシャルな意思決定プロセスとして構成する。 Monte Carlo Tree Searchを統合して、報酬設計と最適化プロセスを管理する。
  論文  参考訳（メタデータ） (2026-02-27T10:18:12Z)
• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)
• AgentSwift: Efficient LLM Agent Design via Value-guided Hierarchical Search [58.98450205734779]
  大規模言語モデル(LLM)エージェントは、多様なドメインにまたがる強力な機能を示している。 既存のエージェントサーチ手法には3つの大きな制限がある。 これらの課題に対処するための包括的なフレームワークを導入します。
  論文  参考訳（メタデータ） (2025-06-06T12:07:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。