論文の概要: RMSWeb: Reflection, Failure-Mode Mining, and Salvage-DS for Web Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.00335v1
• Date: Fri, 31 Jul 2026 22:57:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.585507
• Title: RMSWeb: Reflection, Failure-Mode Mining, and Salvage-DS for Web Agent Reinforcement Learning
• Title（参考訳）: RMSWeb: Webエージェント強化学習のためのリフレクション、フェールモードマイニング、Salvage-DS
• Abstract要約: RMSWebはQwen3-VL-Instructの8Bと32Bの3部構成のレシピである。 リフレクション条件付きリトリーは、収集の収量を増やし、軌道を短くする。 Salvage-DSは、アクション・セマンティックな偏極報酬、コントラスト・アンド・コンピテンス・ゲートのダイナミックサンプリング、および拒否されたグループに対するアクションのみのアンカーを組み合わせたものである。
• 参考スコア（独自算出の注目度）: 9.714070045920462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compact web agents can reduce deployment cost, but training them poses challenges in both data collection and post-SFT reinforcement learning (RL). Successful trajectories are expensive to collect and often contain inefficient detours. After supervised fine-tuning (SFT), full trajectory corpora are dominated by routine states; moreover, when group-relative RL is applied to web actions, inadequately designed action-level rewards can yield weak or misleading relative updates, while groups rejected as unsuitable for such updates receive no fallback learning signal. We present RMSWeb, a three-part recipe for Qwen3-VL-Instruct at 8B and 32B. Reflection-conditioned retries increase collection yield and shorten successful trajectories; failure-mode mining concentrates offline RL on critical states exposed by the SFT policy; and Salvage-DS combines an action-semantic polarized reward, contrast-and-competence-gated dynamic sampling, and an action-only anchor for rejected groups. Policies trained with reflection-collected data use up to 19.7% fewer action steps on solved tasks. On WebVoyager, Online-Mind2Web, and WebTailBench, RMSWeb improves over SFT by 2.4-7.0 points at 8B and 1.2-7.7 points at 32B. Our 8B model also achieves the strongest reported Online-Mind2Web result among similarly sized open-weight models in our comparison and a leading reported accuracy-cost trade-off on WebVoyager and WebTailBench, with the caveat that external evaluation protocols differ.
• Abstract（参考訳）: コンパクトなWebエージェントはデプロイメントコストを削減できるが、トレーニングはデータ収集とSFT後強化学習(RL)の両方において課題となる。 成功した軌道は回収するのに高価であり、しばしば非効率な軌道を含む。 教師付き微調整(SFT)の後、完全な軌道コーパスは通常の状態に支配され、また、グループ相対的なRLがWebアクションに適用された場合、適切に設計されたアクションレベルの報酬は、弱いあるいは誤解を招くような相対的な更新をもたらすが、そのような更新に不適なグループには、フォールバック学習信号を受け取らない。 RMSWebはQwen3-VL-Instructのレシピを8B,32Bで提示する。 反射条件付きリトリーは、収集収量を増やし、軌道を短縮し、障害モードマイニングは、SFTポリシーによって露呈された臨界状態にオフラインRLを集中させ、Salvage-DSは、アクション・セマンティック偏極報酬、コントラスト・アンド・コンピテンス・ゲート・ダイナミックサンプリング、そして拒否されたグループのためのアクション専用アンカーを組み合わせた。 リフレクションコンパイルされたデータで訓練されたポリシーは、解決されたタスクに対するアクションステップを最大19.7%削減する。 WebVoyager、Online-Mind2Web、WebTailBenchでは、RMSWebはSFTよりも2.4-7.0で8B、1.2-7.7で32Bで改善している。 また,WebVoyager と WebTailBench の高精度なトレードオフが報告されており,外部評価プロトコルが異なる点が指摘されている。

関連論文リスト

• RedFlow: Redirect Failure into Action-Level Corrections for Flow-matching VLA Policy [24.413419742450913]
  RedFlowは、フローマッチングVLAポリシのための、きめ細かいオフライン強化学習フレームワークである。 RedFlowは、フローマッチングVLAポリシのアクションレベルの修正監視に障害エクスペリエンスをリダイレクトする。 最先端のオフラインRLベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-07-30T07:14:39Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• FedTrident: Resilient Road Condition Classification Against Poisoning Attacks in Federated Learning [16.871281029100313]
  FLはITS、特にカメラベースの道路条件分類(RCC)の変換パラダイムとして登場した。 RCCは敵に対してTLFA(Targeted Label-Flipping Attacks)を起動するシステムを公開する 我々は,TLFAを効果的に抑制できるFedTridentを提案する。
  論文  参考訳（メタデータ） (2026-03-19T16:26:13Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• M$^2$: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval [64.06936170117943]
  M$2$は、文脈効率と意思決定を最適化するために設計されたトレーニング不要のメモリ拡張フレームワークである。 本手法では,対話履歴を簡潔な状態更新に圧縮する動的トラジェクトリ要約(Internal Memory)と,オフラインのインサイトバンクから取得した実行可能なガイドラインでエージェントを誘導するInsight Retrieval Augmentation(External Memory)を併用する。
  論文  参考訳（メタデータ） (2026-02-28T06:59:51Z)
• OpAgent: Operator Agent for Web Navigation [23.928869500029432]
  我々は、オンラインインタラクション環境を開発し、特殊なRLパイプラインを用いてビジョン・ランゲージ・モデル(VLM)を微調整する。 本稿では,総合的な結果評価のためのWebJudgeと,進捗報酬のためのルールベース決定木(RDT)を組み合わせたハイブリッド・リワード機構を提案する。 特に、我々のRL強化モデルは、WebArena上で38.1%の成功率(pass@5)を達成し、既存のモノリシックなベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-14T02:33:55Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• Efficient Asynchronous Federated Evaluation with Strategy Similarity Awareness for Intent-Based Networking in Industrial Internet of Things [42.55497517367321]
  本稿では,Federated Evaluation Enhanced Intent-Based NetworkingフレームワークであるFEIBNを提案する。 SSAFLはSemiAsynでモデル精度を向上し、モデル収束を加速し、コストを27.8%削減できることを示す。
  論文  参考訳（メタデータ） (2025-11-28T09:03:26Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• WebAgent-R1: Training Web Agents via End-to-End Multi-Turn Reinforcement Learning [36.47273215142354]
  WebAgent-R1は、Webエージェントをトレーニングするためのエンドツーエンドのマルチターン強化学習フレームワークである。 WebArena-Liteベンチマークの実験は、WebAgent-R1の有効性を示し、Qwen-2.5-3Bのタスク成功率を6.1%から33.9%に向上させた。 In-depth Analysis revealed the effect of the thinking-based prompting strategy and test-time scaling through increase interaction for web task。
  論文  参考訳（メタデータ） (2025-05-22T09:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。