論文の概要: SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment
- arxiv url: http://arxiv.org/abs/2608.07639v1
- Date: Fri, 07 Aug 2026 16:04:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.467737
- Title: SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment
- Title（参考訳）: SkillConsist:双方向グラフアライメントによるエージェントスキルの不整合の検出
- Abstract要約: エージェントスキルの不整合は、未公表の危険な行動を公開するか、間違ったスキル選択を引き起こす。
最近のエージェントスキル研究は、エージェントスキル一貫性の検出をますます調査している。
両課題に対処するため,SkillConsistを提示する。
- 参考スコア（独自算出の注目度）: 8.140228855572433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent Skills provide reusable capabilities to LLM agents. Agent Skill inconsistencies can expose undisclosed dangerous behavior or cause wrong Skill selection. Recent Agent Skill research has increasingly examined Agent Skill consistency detection. Existing methods evaluate behaviors or security-property graphs against predefined categories or declared scopes. More recently, PL-HCL uses an LLM-based model to learn consistency across metadata, instructions, and resources. However, declaration and implementation behavior can be mixed across text and code, and a concise declaration can correspond to multiple connected implementation steps. We present SkillConsist to address both challenges. An LLM separates declaration and implementation content into behavior records on the implementation and declaration sides, while static analysis supplements implementation records. These records form declaration and implementation behavior graphs, respectively. Starting from a behavior record on either side, bidirectional graph alignment searches the other graph for a candidate subgraph and expands it along behavior relations until it completely expresses the source-side behavior. Graph differencing identifies conflicts between aligned subgraphs and outputs the detection results. We construct a 633-Skill benchmark from ClawHub's 500 most-downloaded public Skills and 133 Skill-Inject packages. The benchmark contains 319 inconsistent and 314 consistent Skills and 442 localized inconsistency annotations. On this benchmark, SkillConsist achieves 86.85% precision, 89.03% recall, and 87.93% F1 for package-level detection, improving F1 over the best baseline by 20.43 percentage points. For localization, it achieves 67.60% precision, 58.14% recall, and 62.52% F1.
- Abstract（参考訳）: Agent SkillsはLLMエージェントに再利用可能な機能を提供する。
エージェントスキルの不整合は、未公表の危険な行動を公開するか、間違ったスキル選択を引き起こす可能性がある。
最近のエージェントスキル研究は、エージェントスキルの整合性の検出をますます調査している。
既存のメソッドは、事前に定義されたカテゴリや宣言されたスコープに対して、振る舞いやセキュリティプロパティグラフを評価します。
最近では、PL-HCLはLLMベースのモデルを使用してメタデータ、命令、リソース間の一貫性を学習している。
しかし、宣言と実装の振る舞いはテキストとコードの間で混在し、簡潔な宣言は複数の接続された実装ステップに対応することができる。
両課題に対処するため,SkillConsistを提示する。
LLMは宣言と実装内容を実装側と宣言側で動作レコードに分離し、静的解析は実装レコードを補完する。
これらのレコードは、それぞれ宣言と実装の振る舞いグラフを形成する。
双方向グラフアライメントは、どちらの側でも行動記録から始まり、他のグラフを候補部分グラフとして検索し、ソース側の振る舞いを完全に表現するまで行動関係に沿って拡張する。
グラフの違いは、アライメントされたサブグラフ間の競合を特定し、検出結果を出力する。
我々はClawHubの500の最もダウンロードされたパブリックスキルと133のSkill-Injectパッケージから633スキルのベンチマークを構築した。
ベンチマークには319の一貫性のないスキル、314の一貫性のあるスキル、442のローカライズされた一貫性のないアノテーションが含まれている。
このベンチマークでは、SkillConsistは86.85%の精度、89.03%のリコール、87.93%のF1をパッケージレベルの検出で達成し、F1を20.43ポイント改善した。
ローカライゼーションでは67.60%の精度、58.14%のリコール、62.52%のF1を達成する。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - CaSKG: Counterfactual-Causal Skill Graphs for Scalable Agent Skill Retrieval [20.44841712209369]
CaSKGは、検索前に手続き関係を校正するスキルグラフフレームワークである。
モデルとベンチマークの12つの組み合わせの中で、最も高いタスクスコアを達成します。
論文 参考訳（メタデータ） (2026-08-26T08:12:41Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Semantic Drift in Bug Resolution: How Behavioral Signals Propagate from Reports to Tests and Patches [18.727291516223115]
Desc2Fixは、バグレポートのセマンティックアライメント、テストのトリガー、開発者による修正を測定するフレームワークである。
GPT-4o と DeepSeek-Chat を用いて,Defects4J と SWT-Bench の2,857 個のレポート・パッチを解析した。
論文 参考訳（メタデータ） (2026-07-20T22:32:23Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - VISUALSKILL: Multimodal Skills for Computer-Use Agents [63.79539541125141]
ターゲットアプリケーション毎に調整された階層型マルチモーダルスキルであるVISUALSKILLを提案する。
著者によるドキュメンテーションとライブアプリケーションUI探索を組み合わせた2段階のパイプラインで、それぞれのスキルを構築します。
2つのCUAベンチマークでは、Claude Code CLIエージェントがClaude Opus 4.6によって支援され、VISUALSKILLで平均スコア0.456に達した。
論文 参考訳（メタデータ） (2026-06-16T19:57:07Z) - SkillJuror: Measuring How Agent Skill Organization Changes Runtime Behavior [23.11308948097101]
現在のベンチマークでは、スキルがどのように組織化されているのかを区別することは滅多にありません。
我々は、この区別をプログレッシブ・開示(Progressive Disclosure)を通じて研究し、簡潔なルートファイルが要求に応じてリソースを支援するためにエージェントを指示する。
本稿では,スキル記述パラダイムを評価するフレームワークであるSkillJurorを紹介する。
論文 参考訳（メタデータ） (2026-06-10T01:11:50Z) - SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。
各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。
ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
論文 参考訳（メタデータ） (2026-06-02T02:45:21Z) - Skill-as-Pseudocode: Refactoring Skill Libraries to Pseudocode for LLM Agents [50.78646963535282]
Skill-as-Pseudocode (SaP) はマークダウンスキルライブラリの型付き擬似コードへの自動変換である。
1つ以上のスキルから引き出された類似の手続きパスのクラスタごとに、SaPは型付きコントラクトを抽出し、それを4チェック決定性検証器を通じてフィルタリングする。
プロモートされた契約は、復元された具体的なアクションテンプレートと共に書き直されたスキルスケルトンにインライン化され、エージェントは2つの補完的な信号を与える。
論文 参考訳（メタデータ） (2026-05-27T04:48:40Z) - Behavioral Integrity Verification for AI Agent Skills [9.127363793428119]
我々はこれを行動整合性検証(BIV)問題として定式化する。
OpenClawレジストリの49,943のスキルでは、逸脱分類が広範な記述と実装のギャップを明らかにしている。
906スキルの悪質なスキル検出ベンチマークでは、BIVは0.946のF1に達し、最先端のルールベースとシングルパスのLCMベースラインを上回っている。
論文 参考訳（メタデータ） (2026-05-12T08:41:09Z) - Under the Hood of SKILL.md: Semantic Supply-chain Attacks on AI Agent Skill Registry [49.83108591873481]
SKILL.md - エージェントスキルライフサイクルの3つのステージを対象とするアタックのみを調査する。
SKILL.mdは受動的ドキュメントではなく、サードパーティのエージェントが発見し、信頼し、使用する機能を形成する運用テキストであることを示す。
論文 参考訳（メタデータ） (2026-05-12T02:11:54Z) - SkillSieve: A Hierarchical Triage Framework for Detecting Malicious AI Agent Skills [0.0]
SkillSieveは3層検出フレームワークで、必要に応じてより深く分析する。
400スキルのラベル付きベンチマークでは、SkillSieveは0.800 F1を達成し、ClawVetの0.421を上回った。
論文 参考訳（メタデータ） (2026-04-08T00:58:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。