論文の概要: SkillSpec: Intent-Masked Specification Reasoning for Agent Skill Correctness
- arxiv url: http://arxiv.org/abs/2609.06052v1
- Date: Sat, 05 Sep 2026 12:17:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.185829
- Title: SkillSpec: Intent-Masked Specification Reasoning for Agent Skill Correctness
- Title(参考訳): SkillSpec: エージェントスキルの正確性のためのIntent-Masked Specification Reasoning
- Abstract要約: 本稿では,スキルの正しさを仕様推論問題として定式化するHoareスタイルのフレームワークであるSkillSpecを提案する。
不均一なスキルリポジトリを統一されたグラフ表現に変換し、記述、命令、コードアーティファクトを整列させる。
SkillsBenchと広くダウンロードされたレポジトリの現実世界のスキルについて、SkillSpecは239のスキルの欠陥を手作業で確認し、61.2%の精度を達成した。
- 参考スコア(独自算出の注目度): 9.291881040819353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous agent systems increasingly depend on reusable skill abstractions for consolidating experiential knowledge and domain expertise. These artifacts typically bundle free-form instructions with heterogeneous resources. However, ensuring their correctness remains challenging. Their failure modes transcend conventional code defects to subtle semantic inconsistencies such as intent conflicts, which manifest as silent failures masked by the underlying model. Moreover, skill correctness must be grounded in intended task boundaries and generalizability. We propose SkillSpec, a Hoare-style framework that formulates skill correctness as a specification reasoning problem. It transforms a heterogeneous skill repository into a unified graph representation that aligns descriptions, instructions and code artifacts. For each node, SkillSpec derives an ExpectSpec from the surrounding declared intent, and infers FactSpecs from encoded behavior under partially disclosed intent. An intent mask regulates access to holistic, lineage, neighborhood, and local views to balance the bias introduced by excessive context against unsupported inference caused by insufficient context. SkillSpec jointly reasons over these views to flag candidate defects, and automatically validates them in an isolated sandbox. On 515 real-world skills from SkillsBench and widely downloaded repositories, SkillSpec identified 763 manually confirmed defects across 239 skills, achieving 61.2% precision. The node-level analysis across multiple model families shows that specification reasoning is consistently reliable for code nodes, whereas plain-text nodes remain a major bottleneck. Most defects arise at the boundaries between declared intent and implementation, demonstrating that explicit specifications provide a practical foundation for skill quality assurance in real-world agent ecosystems.
- Abstract(参考訳): 自律エージェントシステムは、経験的知識とドメインの専門知識を統合するための再利用可能なスキル抽象化にますます依存している。
これらのアーティファクトは典型的には、自由形式の命令と異種資源をバンドルする。
しかし、その正しさの確保は依然として困難である。
彼らの障害モードは、従来のコード欠陥をインテント競合のような微妙なセマンティックな矛盾に渡します。
さらに、スキルの正しさは、意図したタスク境界と一般化可能性に基礎を置く必要がある。
本稿では,スキルの正しさを仕様推論問題として定式化するHoareスタイルのフレームワークであるSkillSpecを提案する。
不均一なスキルリポジトリを統一されたグラフ表現に変換し、記述、命令、コードアーティファクトを整列させる。
各ノードについて、SkillSpecは、周囲の宣言されたインテントからPrestantSpecを導き、部分的に開示されたインテントの下でコード化された振る舞いからFactSpecsを推論する。
インテントマスクは、全体論的、系統的、近隣、および局所的な見解へのアクセスを規制し、過度な文脈によって引き起こされるバイアスと、不十分な文脈によって引き起こされるサポートなしの推論とをバランスさせる。
SkillSpecは、これらのビューに対して、候補の欠陥をフラグ付けし、分離されたサンドボックスで自動的に検証する。
SkillsBenchと広くダウンロードされたレポジトリの515の現実世界のスキルで、SkillSpecは239のスキルの欠陥を手作業で確認し、61.2%の精度を達成した。
複数のモデルファミリにわたるノードレベルの分析は、仕様推論がコードノードに対して一貫して信頼できることを示しているが、プレーンテキストノードは大きなボトルネックのままである。
ほとんどの欠陥は宣言された意図と実装の境界で発生し、明示的な仕様が現実世界のエージェントエコシステムにおけるスキル品質保証の実践的な基盤を提供することを示した。
関連論文リスト
- SkillForge: Compositional Skill Synthesis with Verification-in-the-Loop for Generating Formally Verified Dafny Programs [10.916179875278326]
我々は、形式的なコード合成をアトミックで再利用可能なスキルのライブラリに分解するフレームワークであるSKILLFORGEを紹介する。
検証駆動ハーネスはこれらのスキルを編成する。
Dafny仕様のペアに対する自然言語のキュレートされたベンチマークでは、SKILLFORGEは最先端のエージェントアプローチよりも大幅に優れている。
論文 参考訳(メタデータ) (2026-08-30T15:15:00Z) - What Keeps Agent Skills from Being Reusable? Evidence from 138K SKILL.md Files [12.451393173022346]
多くの公開SKILL.mdファイルは単一のタスク、リポジトリ、会話に由来する。
20,556リポジトリから138,133の公開SKILL.mdファイル間でのこのギャップを分析する。
91.8%のスキルには少なくとも1つの検出された欠陥が含まれており、厳密な閾値と厳密な閾値で安定した見積もりがある。
論文 参考訳(メタデータ) (2026-08-09T03:49:30Z) - Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning [109.33717747526583]
大規模言語モデルは、計算コストが高くても意味論的に無効な推論を、能力を超えたタスクで生成する。
textbfCaRL(textbfCapability-textbfaligned textbfReinforcement textbfL)を導入し、振る舞いを機能境界に合わせる。
実験は、タスクの難易度を超えて性能を保ちながら、無駄な推論を大幅に削減することを示した。
論文 参考訳(メタデータ) (2026-07-31T09:30:33Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳(メタデータ) (2026-06-12T08:20:09Z) - VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。
VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。
Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
論文 参考訳(メタデータ) (2026-06-03T20:02:35Z) - COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation [58.84646485020439]
人為的なAIスキルを生成するための自動トレース・ツー・スキル蒸留システムを提案する。
COLLEAGUE.SKILLは、実践、メンタルモデル、意思決定のための能力トラックと、コミュニケーションスタイル、インタラクションルール、修正履歴のための有界な行動トラックの2つのトラックを持つバージョン付きのスキルパッケージを生成する。
論文 参考訳(メタデータ) (2026-05-29T12:59:08Z) - No Attack Required: Semantic Fuzzing for Specification Violations in Agent Skills [11.392387914691824]
LLMを利用するエージェントは、文書を静かに削除したり、証明書をリークしたり、定期的なユーザリクエストで資金を転送したりできる。
私たちはこれらの仕様違反を次のように呼んでいます。 良心的な入力は、自身の仕様で自然言語のガードレールを破るスキルを引き起こします。
本稿では,エージェントスキルの仕様違反を自動的に検出する,目標指向のセマンティックファジリングフレームワークであるSefzを紹介する。
論文 参考訳(メタデータ) (2026-05-13T05:57:06Z) - From Context to Skills: Can Language Models Learn from Context Skillfully? [56.5857437218136]
Ctx2Skillは、コンテキスト固有のスキルを自律的に発見、洗練、選択する自己進化フレームワークである。
より良い文脈学習能力を得るために、どんな言語モデルにもプラグインできる。
論文 参考訳(メタデータ) (2026-04-30T09:53:15Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳(メタデータ) (2026-04-13T06:42:24Z) - Intent-aligned Formal Specification Synthesis via Traceable Refinement [43.72968325799861]
VeriSpecGenは、要求レベルの属性と局所的な修復を通じて、リーンで意図に整合した仕様を合成する、トレーサブルな改善フレームワークです。
VeriSpecGenは自然言語をアトミックな要件に分解し、明示的なトレーサビリティマップで要求対象のテストを生成する。
我々は、Claude Opus 4.5を使用してVERINA SpecGenタスクの86.6%を達成し、モデルファミリとスケールで最大31.8ポイントのベースラインを改善する。
論文 参考訳(メタデータ) (2026-04-12T00:52:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。