論文の概要: Evaluating Agent Skills for Version-Specific Plugin Migration: A Retrospective Study
- arxiv url: http://arxiv.org/abs/2609.30120v1
- Date: Thu, 24 Sep 2026 16:56:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:10.132578
- Title: Evaluating Agent Skills for Version-Specific Plugin Migration: A Retrospective Study
- Title（参考訳）: バージョン別プラグイン移行におけるエージェントスキルの評価 : 振り返って
- Abstract要約: 16の静的マイグレーションタスクに関する64のレポートのアーカイブを通じて、出荷されたプラグインアップグレードスキルについて検討する。
平均報酬は93.83から98.75に上昇し、4.92ポイントを獲得した。
他の2つのモデルファミリーの審査員による64件の報告を、腕のラベルや事前スコアなしで再評価し、91.8%と95.7%の判断で原判事に同意する。
- 参考スコア（独自算出の注目度）: 6.92552765704987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent skills package version-specific maintenance knowledge for coding agents, but a higher diagnostic score does not by itself show that the resulting migration advice satisfies the target version's contract. We study a shipped plugin-upgrade skill through an archive of 64 reports on 16 static migration tasks, with two attempts per condition and 328 criterion decisions. With the skill, mean recorded reward rises from 93.83 to 98.75, a gain of 4.92 points (95% task-bootstrap interval [0.31, 10.86]); the gain is concentrated in one task, and eight task pairs are at the ceiling. Tracing every decision to its contract domain and reviewing ten reports in depth exposes grading errors that favor either arm; in one, a containment predicate that accepts the parent directory still receives full credit. Executable probes confirm this defect and show that a working teardown repair is excluded only by a narrower lifecycle rubric. Replacing the reviewed decisions keeps the estimate positive (4.61 to 5.39 points) but moves its interval to or across zero. Re-grading all 64 reports with judges from two other model families, without arm labels or prior scores, agrees with the original judge on 91.8% and 95.7% of decisions (weighted $κ=0.64$ and $0.72$) and gives gains of 10.63 and 6.09 points. The study contributes a traceable evaluation that connects aggregate reward to contract-level evidence and judge sensitivity, together with concrete review checks for migration advice. Executable end-to-end repairs, independent human annotation, and other frameworks are left to future work.
- Abstract（参考訳）: エージェントスキルは、コーディングエージェントにバージョン固有のメンテナンス知識をパッケージするが、より高い診断スコアは、結果の移行アドバイスがターゲットバージョンのコントラクトを満たすことを示すものではない。
16の静的マイグレーションタスクに関する64のレポートのアーカイブを通じて,プラグインアップグレードスキルを出荷し,条件毎に2回の試行と328回の基準決定を行った。
スキルにより、平均報酬は93.83から98.75に上昇し、4.92ポイント(95%タスクブートストラップ間隔[0.31, 10.86])となり、1タスクに集中し、8タスクペアが天井に置かれる。
契約ドメインにすべての決定を行ない、10のレポートを深くレビューすると、どちらのアームも好むグレーディングエラーが露呈する。
実行可能プローブは、この欠陥を確認し、より狭いライフサイクルルーリックによってのみ、作業中の分解修復が除外されることを示す。
レビューされた決定を置き換えると、見積もりは正(4.61点から5.39点)に保たれるが、そのインターバルは0に移動する。
他の2つのモデルファミリーの審査員による64件の報告書を、腕のラベルや前のスコアなしで再評価し、91.8%と95.7%の判断(κ=0.64$と0.72$の重み付き)で原判決に同意し、10.63点と6.09点の利得を得た。
本研究は,アグリゲート報酬と契約レベルの証拠と判断感度を結びつけるトレーサブルな評価と,移行アドバイスの具体的なレビューチェックに寄与する。
実行可能なエンドツーエンドの修正、独立したヒューマンアノテーション、その他のフレームワークは、将来の作業に委ねられる。
関連論文リスト
- Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳（メタデータ） (2026-09-23T17:54:01Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - Auditable Release Control for Pedagogical Leakage in LLM Tutors [0.0]
大規模な言語モデルチューターは、その開示が承認される前に答えや決定的な推論を明らかにするのに役立ちます。
我々は、この状態および行動依存的障害を、教育的漏洩認識認可として定式化し、完全修復境界を導入する。
グローバルA1は0の多数と54のユーティリティフラグを獲得し、自動安全と実用性において適合Qを上回っている。
論文 参考訳（メタデータ） (2026-08-01T08:24:30Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI [6.058290832294911]
エージェントベンチマークは、リポジトリの編集、Web研究、端末の使用、長期のインタラクションをますます評価している。
最近の報奨ベンチマークとシステムレポートは、エージェントが代わりに公開ソリューションを回復し、評価成果物を読み、ジェネレータ構造を推論し、フィードバックを操作し、不正なスコアリングパスの恩恵を受けることができることを示している。
我々は、プロトコルの有効性を定式化し、露出を特定し、エージェントがどのように使用したかを決定し、その結果のスコアが誤解を招くかどうかを評価するポストホック監査であるHackDetectを導入する。
論文 参考訳（メタデータ） (2026-07-24T14:55:19Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - AuditRepairBench: A Paired-Execution Trace Corpus for Evaluator-Channel Ranking Instability in Agent Repair [21.974153439592317]
AuditBenchは576,000の登録細胞(96,000が実行)のペア実行トレースコーパスである
宣言された可観測性境界内で評価器-チャネル遮断ランキングの不安定を運用する。
80ケースのソースレベルのチャネルサージェリーサブセット上で、メカニズムアンカレートによる検証がサポートされている。
論文 参考訳（メタデータ） (2026-05-06T08:12:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。