論文の概要: SkillScriptBench: Benchmarking Self-Evolution of Executable Agent Skill Packages Beyond Markdown

• arxiv url: http://arxiv.org/abs/2610.04008v1
• Date: Fri, 02 Oct 2026 20:10:12 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:25:44.790487
• Title: SkillScriptBench: Benchmarking Self-Evolution of Executable Agent Skill Packages Beyond Markdown
• Title（参考訳）: SkillScriptBench: Markdownを超える実行可能なエージェントスキルパッケージの自己進化ベンチマーク
• Abstract要約: 既存のベンチマークは、ドキュメントの修復、スクリプトの修復、保存を体系的に区別するものではない。 SkillScriptBenchは350タスクのベンチマークで、これらの機能を別々に評価するように設計されています。 私たちはAST-Guided Skill Revisionを紹介します。これは抽象構文木を使用し、関係を呼び出し、メンテナンス要件を関連するコードロケーションにリンクします。
• 参考スコア（独自算出の注目度）: 40.97683732760801
• License:
• Abstract: Executable Agent Skills combine natural-language instructions and scripts into reusable packages for LLM agents, and revising them requires fixing errors without breaking correct behavior. Existing benchmarks do not systematically distinguish documentation repair, script repair, and preservation when evaluating skill self-evolution. We introduce SkillScriptBench, a 350-task benchmark designed to evaluate these capabilities separately. From a survey of over 35,000 GitHub-hosted Skill roots, we select 100 packages and construct 150 repair tasks. Each task pairs a package containing injected script faults with a maintenance request and executable checks of the required behavior. A complementary controlled track contains 200 tasks from 50 packages, each evaluated under the same maintenance request in four states: clean, documentation faults, script faults, and faults in both. Across four LLMs, methods that edit both documentation and scripts can repair script faults but do not consistently outperform Markdown-only revision on documentation repair or preservation. We therefore introduce AST-Guided Skill Revision, which uses abstract syntax trees and calling relationships to link maintenance requirements to relevant code locations. It restricts script edits to these locations and updates the documentation to match the revised scripts. Averaged across models, this revision stage yields absolute gains in repair success of 21.9% for Raw Package and 27.7% for CoEvoSkills on faulty packages. Absolute gains in the proportion of tasks solved in all three runs reach 20.8% and 31.5%, respectively, indicating more consistent repair success across repeated runs.
• Abstract（参考訳）: Executable Agent Skillsは自然言語命令とスクリプトをLLMエージェントの再利用パッケージに結合し、正しい振る舞いを壊さずにエラーを修正する必要がある。 既存のベンチマークは、スキルの自己進化を評価する際に、ドキュメントの修復、スクリプトの修復、保存を体系的に区別するものではない。 SkillScriptBenchは350タスクのベンチマークで、これらの機能を別々に評価するように設計されています。 GitHubがホストする35,000以上のSkillルートの調査から、100のパッケージを選択し、150の修理タスクを構築しました。 各タスクは、インジェクトされたスクリプトフォールトを含むパッケージと、メンテナンス要求と必要な振る舞いの実行可能なチェックをペアリングする。 補完的なコントロールトラックには50のパッケージから200のタスクが含まれており、それぞれが、クリーン、ドキュメンテーションの障害、スクリプトの障害、両方の障害という4つの状態において、同じメンテナンス要求の下で評価されている。 4つのLCMで、ドキュメントとスクリプトの両方を編集するメソッドは、スクリプトの欠陥を修復するが、ドキュメントの修復や保存に関するMarkdownのみの修正を一貫して上回らない。 そこで、AST-Guided Skill Revisionを紹介します。これは抽象構文木を使用し、関係を呼び出し、メンテナンス要件を関連するコード位置にリンクします。 スクリプトの編集をこれらの場所に制限し、修正されたスクリプトにマッチするようにドキュメントを更新する。 モデル全体で平均されるこの改定段階では、修復成功率は21.9%、欠陥パッケージのCoEvoSkillsは27.7%となっている。 3回のランで解決されたタスクの割合は、それぞれ20.8%、31.5%に達した。

関連論文リスト

• DoGBench: Can Agents Meet Expert Standards for User-Facing Documentation? [0.0]
  DoGBENCHは、実際のユーザ向けソフトウェアドキュメンテーションの生成とメンテナンスのための最初のベンチマークである。 これは、経験豊富なテクニカルライターがレビューで受け入れるであろうドキュメントを、エージェントが作成できるかどうかを問うものだ。 ベンチマークには、Helm、PostHog、Mauticなど、オープンソースプロジェクトの292項目が含まれている。
  論文  参考訳（メタデータ） (2026-09-30T15:04:31Z)
• From Verification Failures to Reusable Guidance for Coding Agents [10.7243245192525]
  コーディングエージェントは、プログラムが仕様を満たすことと、仕様が要求された振る舞いをキャプチャすることを確立する必要がある。 本研究は,検証失敗の専門診断が再利用可能なガイダンスとなる方法について検討する。 ヒューマンガイド開発キャンペーンは、セマンティクスとキットで164/164の成功率を達成する。
  論文  参考訳（メタデータ） (2026-09-30T05:27:26Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
  再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。 4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
  論文  参考訳（メタデータ） (2026-09-02T07:31:18Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
  RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。 各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。 25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
  論文  参考訳（メタデータ） (2026-07-07T15:41:22Z)
• ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse [10.503895811137095]
  大規模言語モデル(LLM)エージェントは、自動脆弱性修復にますます利用されている。 最近の実証的な結果は、これらのエージェントがいまだに現実世界の脆弱性と戦っていることを示している。 ContraFixは、再利用可能な修復スキルとランタイムエビデンスを結合するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-05-17T13:48:25Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。