論文の概要: Beyond Success and Failure: Length-Aware Contrastive Learning for GUI Agents

• arxiv url: http://arxiv.org/abs/2608.21830v1
• Date: Sat, 22 Aug 2026 08:01:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.92895
• Title: Beyond Success and Failure: Length-Aware Contrastive Learning for GUI Agents
• Title（参考訳）: 成功と失敗を超えて:GUIエージェントのための長所対応コントラスト学習
• Abstract要約: トラジェクトリレベルの品質信号をポリシー最適化に組み込んだ対照的なRLVRフレームワークを提案する。 GUIエージェントベンチマークの実験では、LACL-GUIはより効果的な学習信号を提供し、エージェントのパフォーマンスを継続的に改善している。
• 参考スコア（独自算出の注目度）: 39.00194335555907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graphical User Interface (GUI) agents powered by Multimodal Large Language Models (MLLMs) have shown strong potential for automating tasks across diverse digital environments, where reinforcement learning (RL) has become a dominant training paradigm. However, widely used methods such as Group Relative Policy Optimization (GRPO) suffer from reward-gradient misalignment, leading to inefficient and unstable optimization. Recent work addresses this issue by reformulating RL with verifiable rewards (RLVR) as contrastive or classification-based objectives, which improve stability by eliminating problematic gradient behaviors. Despite this progress, existing contrastive RLVR methods rely primarily on outcome-level supervision and fail to capture fine-grained differences in trajectory quality within the same outcome category. In this paper, we propose Length-Aware Contrastive Learning for GUI Agents (LACL-GUI), a contrastive RLVR framework that incorporates trajectory-level quality signals into policy optimization. LACL-GUI introduces structured preferences within both successful and failed trajectories, encouraging concise successful executions and differentiating failure quality based on divergence from successful trajectories, while preserving optimization stability. Experiments on GUI agent benchmarks show that LACL-GUI provides more effective learning signals and consistently improves agent performance over prior methods, highlighting the value of trajectory-level supervision in contrastive RLVR.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)を利用したグラフィカルユーザインタフェース(GUI)エージェントは、強化学習(RL)が主流の訓練パラダイムとなっている様々なデジタル環境におけるタスクの自動化に強い可能性を示している。 しかし、GRPO (Group Relative Policy Optimization) のような広く使われている手法は、報酬段階のミスアライメントに悩まされ、非効率で不安定な最適化に繋がる。 最近の研究は、問題のある勾配挙動を排除し安定性を向上させるために、比較的または分類に基づく目的としてRLを検証可能な報酬(RLVR)で再構成することでこの問題に対処している。 この進歩にもかかわらず、既存の対照的なRLVR法は、主に結果レベルの監督に依存しており、同じ結果カテゴリ内の軌道品質の微妙な違いを捉えていない。 本稿では,GUIエージェントのためのLongth-Aware Contrastive Learning for GUI Agents (LACL-GUI)を提案する。 LACL-GUIは、成功軌道と失敗軌道の両方において構造化された嗜好を導入し、簡潔な実行を奨励し、成功軌道からの逸脱に基づく故障品質の差別化を図り、最適化安定性を保っている。 GUIエージェントベンチマークの実験では、LACL-GUIはより効果的な学習信号を提供し、従来の手法よりもエージェントのパフォーマンスを一貫して改善し、対照的なRLVRにおける軌道レベルの監督の価値を強調している。

関連論文リスト

• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning [67.78566256784404]
  Supervised Fine-Tuning (SFT) は高速な適応を可能にし、しばしば知識のオーバーライトを引き起こす。 強化学習(RL)は、事前の相互作用ロジックを消去から保護する固有のレジリエンスを示す。 textbfContinual textbfGUI textbfLearningフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-03T13:02:20Z)
• COVLM-RL: Critical Object-Oriented Reasoning for Autonomous Driving Using VLM-Guided Reinforcement Learning [55.83415345423854]
  批判的オブジェクト指向(CO)推論と強化学習(RL)を統合した新しいエンドツーエンド駆動フレームワークCOVLM-RLを提案する。 CARLAシミュレータで行った実験により、COVLM-RLはトレーニング運転環境における成功率を30%向上することが示された。
  論文  参考訳（メタデータ） (2025-12-10T06:18:16Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Orcust: Stepwise-Feedback Reinforcement Learning for GUI Agent [12.334063115362758]
  Orcust は Principle-Constrained Reward Modeling と Online VM-Grounded Trajectory Construction を統合したフレームワークである。 OVTCは機器化された仮想マシンをスピンアップして、構造化GUIインタラクション軌跡を自律的に収集する。
  論文  参考訳（メタデータ） (2025-09-22T15:40:31Z)
• CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks [11.121687042616974]
  Reinforcement Learning (RL) は動的対話型GUI環境においてエージェントのパフォーマンスを効果的に向上させる。 ほとんどのアプローチはタスク固有のニュアンスを1つの粗い報酬に分解し、エージェントに非効率なポリシー更新をもたらす均一な信号を残す。 我々は,グループ相対政策最適化(GRPO)に基づくカリキュラム学習フレームワークであるCRAFT-GUIを提案する。
  論文  参考訳（メタデータ） (2025-08-15T09:55:02Z)
• ARPO:End-to-End Policy Optimization for GUI Agents with Experience Replay [88.74638385288773]
  Agentic Replay Policy Optimizationは、複雑で長期のコンピュータタスクのパフォーマンスを改善する。 本稿では,ベースラインエージェントの性能に基づいてタスクをフィルタリングするタスク選択戦略を提案する。 OSWorldベンチマークの実験では、ARPOが競争結果を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-22T06:24:32Z)
• Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Advantage Policy Optimization [22.67700436936984]
  ステップレベルのオフライン強化学習アルゴリズムであるDAPO(Direct Advantage Policy Optimization)を導入する。 DAPOは、各ステップにおける推論精度を予測するために批判機能を使用し、それによって高密度信号を生成して生成戦略を洗練させる。 その結果,DAPO は SFT モデルと RL モデルの両方の数学的・コード的能力を効果的に向上し,DAPO の有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-12-24T08:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。