論文の概要: CLIFT: Conformal Self-Verification for Web Agent Training and Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2610.06829v1
• Date: Mon, 05 Oct 2026 17:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 22:20:35.933435
• Title: CLIFT: Conformal Self-Verification for Web Agent Training and Test-Time Scaling
• Title（参考訳）: CLIFT: Webエージェントのトレーニングとテストタイムスケーリングのためのコンフォーマル自己検証
• Abstract要約: 共形自己検証を中心に構築されたトレーニングおよびテスト時間スケーリング手法であるCLIFTを紹介する。 訓練中、エージェントは自身のロールアウトに関する自然言語による検証質問に答える。 構成等式証明器は、URL条件の証拠が訓練時の裁判官と一致する質問信号のみを保持する。 試験時には、同じ認定銀行が凍結され、コンフォーマル軌道選択のための構造化された証拠として再利用される。
• 参考スコア（独自算出の注目度）: 29.825376781201285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-source web agents are now strong enough to execute realistic browser tasks, but training them with reinforcement learning still depends on weak supervision: binary task success is too sparse for credit assignment, while frontier-language-model judges are too expensive to call at every step and cannot be assumed available at deployment. We introduce CLIFT, a training and test-time scaling method built around conformal self-verification. During training, the agent answers natural-language verification questions about its own rollouts; a Compositional Conformal Certifier keeps only question signals whose URL-conditional evidence agrees with a training-time judge, assigns signed trust weights through polarity-aware lift, and blends the resulting verifier score into per-step rewards in a way that never subtracts from the judge baseline. At test time, the same certified bank is frozen and reused as structured evidence for Conformal Trajectory Selection (CTS): the agent samples a greedy rollout and one or more diverse retries, the self-verifier summarises each URL trace, and a conservative majority-vote rule chooses whether to swap away from the current incumbent without calling any external judge. This single mechanism supports three settings. On WebArena Infinity, CLIFT achieves state-of-the-art performance among open-source web agents. On VisualWebArena, a bank trained with the open model transfers to GPT-5.5 at test time and reaches state-of-the-art performance under the canonical harness. On Online Mind2Web, without training an agent on the benchmark, translating the certified question bank improves a live-web agent in zero-shot evaluation. Together these results position conformal self-verification as a way to turn costly judge feedback into a reusable training signal and a judge-free test-time scaling signal.
• Abstract（参考訳）: オープンソースのWebエージェントは、現実的なブラウザタスクを実行するのに十分な強度を持っているが、強化学習によるトレーニングは、依然として弱い監督に依存している。 共形自己検証を中心に構築されたトレーニングおよびテスト時間スケーリング手法であるCLIFTを紹介する。 訓練中、エージェントは、自身のロールアウトに関する自然言語による検証問題に答える; コンフォメーショナル・コンフォーマル認証は、URL条件の証拠が訓練時の裁判官と一致した質問信号のみを保持し、極性認識リフトを通じて署名された信頼度を割り当て、その結果の検証結果を、審査基準から決して引けない方法でステップ毎の報酬にブレンドする。 試験時には、同じ認定銀行を凍結して再利用し、コンフォーマル軌道選択(CTS)の構造化証拠として、エージェントは、欲張りのロールアウトと1つ以上の多様なリトライをサンプリングし、自己検証器は各URLトレースを要約し、保守的な多数決ルールは、外部の裁判官を呼ばずに現在の現職から切り換えるかどうかを選択する。 この単一のメカニズムは3つの設定をサポートする。 WebArena Infinityでは、CLIFTはオープンソースのWebエージェント間の最先端のパフォーマンスを達成する。 VisualWebArenaでは、オープンモデルでトレーニングされた銀行がテスト時にGPT-5.5に移行し、標準的なハーネスの下で最先端のパフォーマンスに達する。 オンラインMind2Webでは、ベンチマークでエージェントを訓練することなく、認定された質問銀行を翻訳することで、ゼロショット評価においてライブウェブエージェントが改善される。 これらの結果と合わせて、コストのかかる判断フィードバックを、再利用可能なトレーニング信号と、判定不要なテスト時間スケーリング信号に変換する手段として、共形自己検証を位置づけた。

関連論文リスト

• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Agentic Reinforcement Learning with Self-Distilled Reward Shaping [12.091871903119698]
  エージェント強化学習は、LLMエージェントが相互作用を通じて学ぶことを可能にするが、低軌道レベルの報酬は、どの中間決定が信用に値するかを特定せずに、成功を明らかにする。 本稿では,言語エージェントに対する返却関連トークンレベルクレジットを構築するためのフレームワークである,自己拡張型リワードシェーピングを用いたエージェント強化学習を紹介する。 実験の結果、ADRSは長い水平タスクのパフォーマンスを継続的に改善し、RLバックボーン、データ設定の削減、目に見えないタスク、トレーニングの拡張などを実現している。
  論文  参考訳（メタデータ） (2026-08-04T06:56:47Z)
• OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models [87.08963239083614]
  コンピュータ利用エージェント(CUA)はデジタル世界で急速に進歩している。 この分野は、CUA軌道の審査員として、視覚言語モデル(VLM)に変わりつつある。 我々は,CUA軌道上のVLM判定値を評価する,現実的で高品質なベンチマークOSRewardを紹介する。
  論文  参考訳（メタデータ） (2026-07-30T17:57:41Z)
• AEVAL: From Anecdotal to Deterministic Testing for Agentic Skill Workflows [1.6785141970297952]
  AEVAL(Agentic Evaluation)はCI統合フレームワークで、このプラクティスをエージェントスキルのための決定論的かつ再現可能なテストパイプラインに置き換える。 すべてのスキル変更がテストイベントをトリガーする。スキルは、自動エグゼキュータ内の開発者が宣言した評価契約に対して実行される。 鍵となる要素は、実行子とグレーダの間の構造的分離であり、微妙だが広汎な障害モードを防止する。
  論文  参考訳（メタデータ） (2026-07-16T21:33:05Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
  本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。 VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。 Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
  論文  参考訳（メタデータ） (2026-06-03T20:02:35Z)
• SmartSnap: Proactive Evidence Seeking for Self-Verifying Agents [45.71333459905404]
  SmartSnapは、受動的でポストホックな検証から、エージェント自身による積極的な自己検証へのパラダイムシフトである。 両ミッションで設計された新しいタイプのエージェントである「自己検証エージェント」を導入し、タスクを完了し、検証された証拠でその達成を証明した。 モデルファミリとスケールにわたるモバイルタスクの実験は、SmartSnapパラダイムによって、スケーラブルなLLM駆動エージェントのトレーニングが可能になることを実証しています。
  論文  参考訳（メタデータ） (2025-12-26T14:51:39Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。