論文の概要: SkillShift-Bench: Benchmarking Skill Learning under Environment Evolution for Web Agents

• arxiv url: http://arxiv.org/abs/2610.33528v1
• Date: Sat, 24 Oct 2026 08:09:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.354716
• Title: SkillShift-Bench: Benchmarking Skill Learning under Environment Evolution for Web Agents
• Title（参考訳）: SkillShift-Bench: Webエージェントの環境進化下でのスキル学習のベンチマーク
• Abstract要約: SkillShift-Benchは、制御されたオープン環境シフトでスキル学習を評価するための最初のベンチマークである。 SkillShift-Benchは、コンテキストシフト、知覚シフト、実行シフトを3つのセルフホストWebシステムでシミュレートする。 総合的な実験では、低い成功率、高い相互作用コスト、より頻繁なスキル障害によって特徴づけられる、制御されたシフトの下での体系的な劣化が明らかになった。
• 参考スコア（独自算出の注目度）: 19.45971791637768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Skill learning enables web agents to reuse prior experience for long-horizon interactive tasks. However, learned skills are typically evaluated in closed environments, overlooking the fact that real-world web deployment involves continuous shifts in invocation context, perceptual grounding, and execution feasibility. To this end, we introduce SkillShift-Bench, the first benchmark for evaluating skill learning with controlled open-environment shifts. SkillShift-Bench simulates Contextual Shift, Perceptual Shift, and Execution Shift across three self-hosted web systems, and evaluates agents with diagnostics covering task success, interaction cost, skill use, and skill failure. Comprehensive experiments reveal systematic robustness degradation under controlled shifts, characterized by lower success rates, higher interaction costs, and more frequent skill failures, with Execution Shift exerting the strongest pressure. We further formulate shifted skill execution as a nonstationary local executability problem and provide both a dynamic-regret analysis and a practical test-time adaptation method, demonstrating the feasibility of improving learned-skill execution without relearning the skill library. Code, tasks, environments, documentation, and the leaderboard are available at https://skillshift-bench.github.io/.
• Abstract（参考訳）: スキル学習により、Webエージェントは、長時間の対話的なタスクのために、事前の経験を再利用できる。 しかし、学習スキルは一般にクローズドな環境で評価され、実際のWebデプロイメントには、呼び出しコンテキストの継続的なシフト、知覚的グラウンド化、実行可能性が含まれるという事実を見落としている。 この目的のために、我々は、制御されたオープン環境シフトによるスキル学習を評価するための最初のベンチマークであるSkillShift-Benchを紹介した。 SkillShift-Benchは、自己ホストされた3つのWebシステムにわたるコンテキストシフト、知覚シフト、実行シフトをシミュレートし、タスク成功、インタラクションコスト、スキル使用、スキル失敗を診断するエージェントを評価する。 総合的な実験では、成功率の低下、高い相互作用コスト、より頻繁なスキル障害を特徴とする、制御されたシフト下での系統的な堅牢性低下が示され、Execution Shiftが最も強い圧力が課される。 さらに、非定常的局所実行可能性問題としてシフトスキル実行を定式化し、動的回帰解析と実践的なテスト時間適応法の両方を提供し、スキルライブラリを再学習することなく、学習スキルの実行を改善する可能性を示す。 コード、タスク、環境、ドキュメント、およびリーダーボードはhttps://skillshift-bench.github.io/.com/で入手できる。

関連論文リスト

• Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills [53.15216425100295]
  本稿では,提案者,解決者,スキルコントローラからなる共進化型フレームワークであるスキルセルフプレイ(スキルSP)を紹介する。 プロジェクタは動的にサンプリングされたスキルを前提とした挑戦的なタスクを生成し、ソルバは能力境界を押し上げるための候補ソリューションを探索し、スキルコントローラは実行フィードバックを収集してスキルライブラリを更新および拡張する。 このインタラクティブな共進化は、構造化された検証とオープンな調査の間のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2026-07-24T17:59:22Z)
• Learning New Tasks via Reusable Skills: Skill-Compositional Experts for Embodied Continual Learning [60.37693496953694]
  Embodied Continual Learning (ECL)は、ロボットが新たな操作タスクを継続的に取得できるようにすることを目的としている。 ECLはより深刻な破滅的な忘れ込みに悩まされる。 ECLの主な課題は、継続的に進化するタスクにおける構造化されたスキル再利用である。
  論文  参考訳（メタデータ） (2026-06-14T09:02:49Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• Learning While Acting: A Skill-Enhanced Test-Time Co-Evolution Framework for Online Lifelong Learning Agents [32.49699221723716]
  大規模言語モデル(LLM)エージェントが動的にインタラクティブな環境で動作するためには、生涯学習が不可欠である。 オンライン生涯学習エージェントのための2段階強化学習フレームワークであるSkill-enhanced Test-Time Co-Evolution(textttLifeSkill)を提案する。
  論文  参考訳（メタデータ） (2026-06-03T12:38:57Z)
• SkillEvolBench: Benchmarking the Evolution from Episodic Experience to Procedural Skills [31.23929961213889]
  大規模言語モデル(LLM)エージェントは、現実世界のタスクを解きながら豊富なエピソード軌道を蓄積する。 SkillEvolBenchは、経験の再利用からスキル形成まで、このステップを評価するための診断ベンチマークである。 現在のエージェントは、しばしばローカルに適応するが、堅牢な再利用可能なスキルを形成することは滅多にない。
  論文  参考訳（メタデータ） (2026-05-22T18:23:31Z)
• OpenSkillEval: Automatically Auditing the Open Skill Ecosystem for LLM Agents [15.598856888948093]
  スキル強化エージェントシステムとスキル自体の自動評価フレームワークであるtextscOpenSkillEvalを提案する。 静的ベンチマークに頼る代わりに、textscOpenSkillEvalは、現実世界のアーティファクトの進化から現実的なタスクインスタンスを自動的に構築する。 600以上の動的に生成されたタスクインスタンスと30のオープンソーススキルを使用して、最先端のモデルとエージェントフレームワークを体系的に評価する。
  論文  参考訳（メタデータ） (2026-05-22T14:09:41Z)
• WebXSkill: Skill Learning for Autonomous Web Agents [104.76374637691212]
  WebXSkillは、コードベースのスキルと自然言語ガイダンスのギャップを埋めるフレームワークである。 WebArenaとWebVoyagerでは、WebXSkillはタスク成功率をベースラインで最大9.8と12.9ポイント改善する。
  論文  参考訳（メタデータ） (2026-04-14T21:48:15Z)
• Choreographer: Learning and Adapting Skills in Imagination [60.09911483010824]
  我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。 提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。 Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
  論文  参考訳（メタデータ） (2022-11-23T23:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。