論文の概要: VRL-Bench: Benchmarking agents on computer control tasks under finite trial budgets

• arxiv url: http://arxiv.org/abs/2609.12404v1
• Date: Fri, 11 Sep 2026 03:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.601804
• Title: VRL-Bench: Benchmarking agents on computer control tasks under finite trial budgets
• Title（参考訳）: VRL-Bench:有限予算下でのコンピュータ制御タスクのベンチマークエージェント
• Abstract要約: リフレクションは言語強化学習を導入し、失敗した試行を後の試みを導くテキストに変えた。 有限の試行予算下での試行錯誤学習の公平な評価のためのハーネスであるVRL-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 15.535835926612988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from trial and error is a promising way to improve language agents on complex tasks such as computer control. Reflexion introduced verbal reinforcement learning, which turns failed trials into text that guides later attempts without updating model parameters. We introduce VRL-Bench, a harness for fair evaluation of trial-and-error learning under finite trial budgets. Across three models on MiniWoB and WebShop, we evaluate updates from several prominent verbal-memory methods spanning Reflexion and later work: each improves observed success over memory-free retry in some settings but reduces it in others. Replay experiments show that using reflection can reduce success rates, revealing a trade-off between exploiting experience and continued exploration. We propose VEX$^2$, a verbal exploration--exploitation scheduler that uses a language model to jointly select policies and allocate the remaining trial budget. VEX$^2$ is the only evaluated update to achieve positive observed success-rate gains over retry in all six settings.
• Abstract（参考訳）: 試行錯誤から学ぶことは、コンピュータ制御のような複雑なタスクにおいて言語エージェントを改善するための有望な方法である。 Reflexionは言語強化学習を導入し、失敗した試行をモデルパラメータを更新せずに後で試行をガイドするテキストに変えた。 有限の試行予算下での試行錯誤学習の公平な評価のためのハーネスであるVRL-Benchを紹介する。 MiniWoB と WebShop の3つのモデルで,Reflexion と後続の作業にまたがる著名な言語メモリメソッドの更新を評価する。 リプレイ実験は、リフレクションの使用が成功率を低下させ、エクスプロイト経験と継続的な探索の間のトレードオフを明らかにすることを示している。 本稿では、言語モデルを用いてポリシーを共同選択し、残りの試行予算を割り当てる言語探索探索探索スケジューラであるVEX$^2$を提案する。 VEX$^2$は、6つの設定で再試行よりも肯定的な成功率向上を達成する唯一の評価済み更新である。

関連論文リスト

• Context Bootstrapped Reinforcement Learning [51.213972559315486]
  Reinforcement Learning from Verifiable Rewards (RLVR) は、探索の非効率さに悩まされている。 我々は,数発のデモをトレーニングプロンプトに先立ってRLVRトレーニングを増強するContextped Bootstrapped Reinforcement Learning (CBRL)を提案する。 CBRLは、成功率を一貫して改善し、探索効率を向上し、アルゴリズムに依存しない。
  論文  参考訳（メタデータ） (2026-03-19T14:23:59Z)
• $\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving [75.29519604607111]
  検証可能な報奨(RLVR)による強化学習は、大規模言語モデル(LLM)の推論性能を高めることを約束している。 チェーン・オブ・シークレット(CoT)の初期方向や品質が最適以下である場合、モデルが正しい答えに到達できないことがよく示される。 再解決による強化学習 (Reinforcement Learning with Re-solving, Re$2$) を導入し, LLM が非生産的推論経路を柔軟に放棄し,必要ならば解法を再開することを学ぶ。
  論文  参考訳（メタデータ） (2026-03-07T13:17:46Z)
• Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
  テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。 そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。 以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:56:56Z)
• Reinforcement Learning via Self-Distillation [37.078107691613155]
  大規模言語モデルは、コードや数学などの検証可能な領域で強化学習を施して、ポストトレーニングされている。 検証可能な報酬(RLVR)を用いた強化学習の現在の手法は、試みごとにスカラーな結果報酬からのみ学習し、深刻な信用割り当てボトルネックを生み出す。 我々は、この設定をリッチフィードバックによる強化学習として定式化し、自己蒸留政策最適化(SDPO)を導入する。 SDPOは、トークン化されたフィードバックを、外部教師や明示的な報酬モデルなしで、密集した学習信号に変換する。
  論文  参考訳（メタデータ） (2026-01-28T17:45:12Z)
• R$^3$L: Reflect-then-Retry Reinforcement Learning with Language-Guided Exploration, Pivotal Credit, and Positive Amplification [44.99719889905381]
  強化学習は推論とエージェント能力の最近の進歩を促進するが、現在のアプローチは探索と搾取の両方で苦労している。 本稿では,R$3$L,Reflection-then-Retry Reinforcement Learning with Language-Guided Exploration,Pivotal Credit,Positive Amplificationを提案する。 エージェントおよび推論タスクの実験は、トレーニング安定性を維持しながら、ベースラインよりも5%から52%改善したことを示している。
  論文  参考訳（メタデータ） (2026-01-07T09:04:52Z)
• Replay Failures as Successes: Sample-Efficient Reinforcement Learning for Instruction Following [42.05102776289243]
  強化学習(RL)は、様々な制約で命令に従うために、LLM(Large Language Models)を調整することを約束している。 タスク追従のための新しいサンプル効率のRLフレームワークであるHindsight instruction Replay (HiR)を提案する。
  論文  参考訳（メタデータ） (2025-12-29T13:31:08Z)
• LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
  LANPOは、フィードバックの役割をきれいに分離するフレームワークである。 我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
  論文  参考訳（メタデータ） (2025-10-18T15:51:19Z)
• Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models [67.87579664988199]
  TONは視覚言語モデル(VLM)のための2段階のトレーニング戦略である 選択的な推論のためのコールドスタートとして機能するシンクまたはノットフォーマットを導入している。 TONは、バニラGRPOと比較して、完成期間を最大90%短縮することができる。
  論文  参考訳（メタデータ） (2025-05-22T16:13:29Z)
• Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning [54.585428241509234]
  逆カリキュラム強化学習(RL)によるR$3の学習推論を提案する。 RLは、大規模言語モデルのプロセス監視の利点を達成するために、結果監視のみを採用する。
  論文  参考訳（メタデータ） (2024-02-08T16:46:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。