Fugu-MT 論文翻訳(概要): Reinforcement Learning for Computer-Use Agents with Autonomous Evaluation

論文の概要: Reinforcement Learning for Computer-Use Agents with Autonomous Evaluation

arxiv url: http://arxiv.org/abs/2606.24515v1
Date: Tue, 23 Jun 2026 12:46:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-24 22:16:48.946143
Title: Reinforcement Learning for Computer-Use Agents with Autonomous Evaluation
Title（参考訳）: 自律的評価によるコンピュータ利用エージェントの強化学習
Authors: Marta Sumyk, Oleksandr Kosovan,
Abstract要約: 自律的な視覚言語評価をGUIエージェントのスケーラブルな監視信号として利用するRLファインチューニングフレームワークを提案する。自律評価器は不完全であるため、ノイズ補正報酬推定器を導出するノイズ補正報酬チャネルとしてフィードバックをモデル化する。実験により、補正された評価器の報酬はゼロショットベースラインと生評価器の報酬の両方を上回り、ゼロショット性能で平均12.6ポイント、生評価器の微調整で平均5.1ポイントの成功率を向上させることが示された。
参考スコア（独自算出の注目度）: 15.119045051735633
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Computer-Use Agents (CUAs) execute high-level user goals by perceiving and acting directly within graphical user interfaces. However, reinforcement learning for CUAs remains difficult because open-ended desktop environments rarely provide scalable, machine-readable reward signals: task success is often visually grounded and hard to specify with handcrafted reward functions or dense manual labels. We propose an RL fine-tuning framework that uses autonomous vision-language evaluation as a scalable supervision signal for GUI agents. Given a final screenshot and the original instruction, a Vision-Language Model judges task completion and provides terminal feedback without task-specific heuristics or manual labels during policy optimization. Because autonomous evaluators are imperfect, we model their feedback as a noisy binary reward channel and derive a noise-corrected reward estimator for Proximal Policy Optimization. Experiments across macOSWorld, Windows Agent Arena, and OSWorld show that corrected evaluator rewards outperform both zero-shot baselines and raw evaluator rewards, improving success rates by an average of 12.6 percentage points over zero-shot performance and 5.1 points over raw evaluator fine-tuning. These results suggest that autonomous evaluation can serve as a practical reward signal for RL in GUI environments when evaluator noise is explicitly modeled and corrected.
Abstract（参考訳）: コンピュータ・ユース・エージェント(CUA)はグラフィカル・ユーザー・インタフェース内で直接知覚し行動することで高いレベルのユーザー・ゴールを実行する。しかし、CUAの強化学習は、手作りの報酬関数や高密度手動ラベルで、タスクの成功を視覚的に把握し、特定することが難しいため、オープンエンドのデスクトップ環境は、しばしばスケーラブルでマシン可読な報酬信号を提供するため、依然として困難である。自律的な視覚言語評価をGUIエージェントのスケーラブルな監視信号として利用するRLファインチューニングフレームワークを提案する。最終的なスクリーンショットとオリジナルの命令が与えられた後、ビジョンランゲージモデルがタスク完了を判断し、ポリシー最適化中にタスク固有のヒューリスティックや手動ラベルなしで端末からのフィードバックを提供する。自律型評価器は不完全であるため、雑音に富んだ2値の報奨チャネルとしてフィードバックをモデル化し、ノイズ補正された報奨推定器を導出する。 macOSWorld、Windows Agent Arena、OSWorldでの実験では、修正された評価者報酬はゼロショットベースラインと生評価者報酬の両方を上回っ、ゼロショットパフォーマンスよりも平均12.6ポイント、生評価者微調整より5.1ポイント向上している。これらの結果から,評価器ノイズが明示的にモデル化され修正された場合,自律評価はGUI環境におけるRLの実用的な報奨信号として機能する可能性が示唆された。

関連論文リスト

VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
論文参考訳（メタデータ） (2026-06-18T09:44:12Z)
RewardHarness: Self-Evolving Agentic Post-Training [51.16917192137169]
RewardHarnessは、命令誘導画像編集のための自己進化型エージェント報酬フレームワークである。ツールやスキルのライブラリを、100もの好みのデモから反復的に進化させることによって、人間の好みに合わせている。画像編集評価ベンチマークの平均精度は47.4%で、GPT-5を5.3ポイント上回る。
論文参考訳（メタデータ） (2026-05-09T05:32:48Z)
OS-Themis: A Scalable Critic Framework for Generalist GUI Rewards [44.03496012544118]
OS-Themisはスケーラブルで正確なマルチエージェント批判フレームワークである。軌跡を検証可能なマイルストーンに分解し、意思決定のための重要な証拠を分離する。最終判決を下す前に、エビデンスチェーンを厳格に監査するために、レビューメカニズムを採用している。 AndroidWorldの実験では、OS-ThemisはオンラインRLトレーニングをサポートする際に10.3%改善されている。
論文参考訳（メタデータ） (2026-03-19T17:47:47Z)
A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
論文参考訳（メタデータ） (2026-03-04T07:23:54Z)
Agentic Reward Modeling: Verifying GUI Agent via Online Proactive Interaction [7.731207237810125]
VAGENは、対話ツールを備えた検証エージェントを使用して、自律的に検証戦略を計画するフレームワークである。 VAGEN は LLM-as-a-Judge ベースラインと比較して評価精度が有意に向上することを示す。
論文参考訳（メタデータ） (2026-01-31T07:36:54Z)
SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models [42.89413870143421]
VLA(Vision-Language-Action)モデルはロボット操作に優れるが、専門家によるデモンストレーションに大きく依存している。グループベースの最適化手法を含む現在のVLA-RL法は、深刻な報酬の分散によって損なわれている。本稿では,新しいVLA-RLフレームワークである自己参照ポリシー最適化(SRPO)を提案する。
論文参考訳（メタデータ） (2025-11-19T16:52:23Z)
ProRe: A Proactive Reward System for GUI Agents via Reasoner-Actor Collaboration [24.005812534024965]
ProReは汎用推論エージェントとドメイン固有評価エージェントを利用するプロアクティブ報酬システムである。 ProReは報酬精度を最大5.3%、F1スコアを19.4%向上させる。
論文参考訳（メタデータ） (2025-09-26T03:29:36Z)
RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文参考訳（メタデータ） (2025-05-28T14:55:33Z)
Learning to Reason without External Rewards [100.27210579418562]
RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
論文参考訳（メタデータ） (2025-05-26T07:01:06Z)
VARP: Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences [13.337649128532307]
嗜好に基づくRLは、比較フィードバックから報酬を学ぶことによって、これらの落とし穴のいくつかを緩和する。単一の最終状態の画像は、一般的にエージェントの完全な動きを捉えるのに失敗する。本稿では,フィードバックの精度を向上し,報酬学習とエージェントのポリシーの整合性を向上する2部構成のソリューションを提案する。
論文参考訳（メタデータ） (2025-03-18T01:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。