論文の概要: From Trajectories to Grounded Preferences: Process Preference Synthesis via Interaction Element Graphs for Web PRMs

• arxiv url: http://arxiv.org/abs/2609.32351v1
• Date: Sat, 26 Sep 2026 08:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:31:18.348993
• Title: From Trajectories to Grounded Preferences: Process Preference Synthesis via Interaction Element Graphs for Web PRMs
• Title（参考訳）: 軌道から接地選好へ:Web PRMのためのインタラクション要素グラフによるプロセス選好合成
• Abstract要約: 比較Web PRMのためのグラフ誘導プロセス選好フレームワークであるSURFPRMを提案する。 SURFPRMは、Webデモを、環境を基盤としたネガティブアクション提案メカニズムとして機能する永続的なインタラクショングラフ要素に構成する。
• 参考スコア（独自算出の注目度）: 20.366220586249536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Comparative Process Reward Models (PRMs) provide critical step-level guidance for autonomous web agents by evaluating state-conditioned preferences between candidate actions. However, existing preference training data synthesized via multi-policy sampling suffers from a severe scarcity of Grounded Minimal Contrastive Pairs (GMCPs)-where competing candidates target genuine on-page elements with identical action types. In representative baselines preference data (namely, WebArbiter), GMCPs account for merely 24.19%, biasing PRMs during training to rely on shallow shortcuts (such as element hallucinations and action type mismatches) rather than acquiring genuine contextual decision semantics. To address these challenges, we propose SURFPRM, a graph-guided process preference synthesis framework for comparative Web PRMs. SURFPRM structures web demonstrations into a persistent Interaction Element Graph that acts as an environment-grounded negative action proposal mechanism, systematically synthesizing contrastive negative actions across spatial, temporal, and spatiotemporal confusion axes. This elevates the GMCP proportion from 24.19% to 74.60%, producing the curated SURFPRM-DATA dataset. Across six open-source backbones (3B to 9B parameters), PRMs trained on SURFPRM-DATA outperform baseline-trained models on average on WEBPRMBENCH and rival leading proprietary LLMs. In downstream reward-guided trajectory search on WEBARENA-LITE, SURFPRM provides step-level guidance for both GPT-4o (+14.21%) and GPT-4o-mini (+12.83%) policies, yielding substantial improvements in complex web task success rates.
• Abstract（参考訳）: プロセス・リワード・モデル(PRM)は、候補行動間の状態条件付き嗜好を評価することにより、自律的なWebエージェントに対して重要な段階的なガイダンスを提供する。 しかし, 既存の選好学習データは, 同一のアクションタイプを持つ真正のページ要素を対象とする, GMCP(Grounded Minimal Contrastive Pairs)の深刻な不足に悩まされている。 代表的ベースライン選好データ(すなわち、WebArbiter)では、GMCPsは24.19%に過ぎず、訓練中のPRMを真の文脈決定のセマンティクスを取得するのではなく、浅いショートカット(要素幻覚やアクションタイプのミスマッチなど)に依存している。 これらの課題に対処するため、我々は、比較Web PRMのためのグラフ誘導プロセス優先合成フレームワークであるSURFPRMを提案する。 SURFPRMは、Webデモを、環境に根ざしたネガティブアクション提案機構として機能し、空間的、時間的、時空間的、時空間的な混乱軸をまたいだ対照的なネガティブアクションを体系的に合成する永続的相互作用要素グラフに構成する。 これによりGMCP比が24.19%から74.60%に上昇し、SURFPRM-DATAデータセットが作成される。 6つのオープンソースバックボーン (3B から 9B のパラメータ) の中で、PRM は WEBPRMBENCH と競合するプロプライエタリ LLM で、SURFPRM-DATA でトレーニングされたベースライントレーニングモデルより平均的に優れていた。 WEBARENA-LITE のダウンストリーム報酬誘導軌道探索において、SURFPRM は GPT-4o (+14.21%) と GPT-4o-mini (+12.83%) の2つのポリシーの段階的なガイダンスを提供し、複雑な Web タスクの成功率を大幅に改善した。

関連論文リスト

• HMACE: Heterogeneous Multi-Agent Collaborative Evolution for Combinatorial Optimization [19.90781293176099]
  HMACEは異種多言語協調進化フレームワークである。 それぞれの進化生成を4つの調整されたエージェントで自律的で役割特異的なループに分解する。 冗長な評価を避けながら、多様で有望な行動への探索を導く。
  論文  参考訳（メタデータ） (2026-05-08T04:02:28Z)
• PAPO: Stabilizing Rubric Integration Training via Decoupled Advantage Normalization [31.935482701047544]
  本稿では,既存の報酬設計の2つの制約に対処するプロセスアウェア・ポリシー・オプティマイズ(PAPO)を提案する。 PAPOはプロセスレベルの評価をグループ相対政策最適化(GRPO)に統合する。 複数のモデルスケールと6つのベンチマークの実験は、PAPOがORMを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-27T15:48:13Z)
• PaTaRM: Bridging Pairwise and Pointwise Signals via Preference-Aware Task-Adaptive Reward Modeling [19.258007121955924]
  Preference-Aware Task-Aware Reward Model (PaTaRM) は、Rest-Aware rewardメカニズムと動的ルーリック適応を統合した統合フレームワークである。 PaTaRMは、IFEvalとInFoBenchベンチマークで平均13.6%改善され、下流RLHFのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2025-10-28T09:43:47Z)
• PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation [68.17081518640934]
  ロボット操作のためのPrIrmitive-driVen waypOinT-aware world model(PIVOT-R)を提案する。 PIVOT-RはWAWM(Waypoint-aware World Model)と軽量アクション予測モジュールで構成される。 私たちのPIVOT-RはSeaWaveベンチマークで最先端のオープンソースモデルより優れており、4段階の命令タスクで平均19.45%の相対的な改善を実現しています。
  論文  参考訳（メタデータ） (2024-10-14T11:30:18Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。