論文の概要: Semia: Auditing Agent Skills via Constraint-Guided Representation Synthesis
- arxiv url: http://arxiv.org/abs/2605.00314v1
- Date: Fri, 01 May 2026 00:48:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.799913
- Title: Semia: Auditing Agent Skills via Constraint-Guided Representation Synthesis
- Title（参考訳）: Semia: Constraint-Guided Representation Synthesisによる監査エージェントスキル
- Abstract要約: エージェントスキルの静的監査ツールであるSemiaについて紹介する。
Semiaは、各スキルをDatalogファクトベースであるSDL(Skill Description Language)に引き上げる。
我々は,公共市場から13,728の現実世界のスキルを評価する。
- 参考スコア（独自算出の注目度）: 11.214847720120192
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: An agent skill is a configuration package that equips an LLM-driven agent with a concrete capability, such as reading email, executing shell commands, or signing blockchain transactions. Each skill is a hybrid artifact-a structured half declares executable interfaces, while a prose half dictates when and how those interfaces fire-and the prose is reinterpreted probabilistically on every invocation. Conventional static analyzers parse the structured half but ignore the prose; LLM-based tools read the prose but cannot reproducibly prove that a tainted input reaches a high-impact sink. We present Semia, a static auditor for agent skills. Semia lifts each skill into the Skill Description Language (SDL), a Datalog fact base that captures LLM-triggered actions, prose-defined conditions, and human-in-the-loop checkpoints. Synthesizing a fact base that is both structurally sound and semantically faithful to the original prose is the central challenge; we address it with Constraint-Guided Representation Synthesis (CGRS), a propose-verify-evaluate loop that refines LLM candidates until convergence. Security properties (e.g., indirect injection, secret leakage, confused deputies, unguarded sinks, etc.) over an agent skill can then be reduced to Datalog reachability queries. We evaluate Semia on 13,728 real-world skills from public marketplaces. Semia renders all of them auditable and finds that more than half carry at least one critical semantic risk. On a stratified sample of 541 expert-labeled skills, Semia achieves 97.7% recall and an F1 of 90.6%, substantially outperforming signature-based scanners and LLM baselines.
- Abstract（参考訳）: エージェントスキルは、メールの読み込み、シェルコマンドの実行、ブロックチェーントランザクションの署名といった具体的な機能を備えた、LLM駆動のエージェントを備えた設定パッケージである。
各スキルはハイブリッドアーティファクトであり、構造化された半分は実行可能なインターフェイスを宣言し、散文半分はいつ、どのようにそのインターフェースを発射するかを宣言し、散文はすべての呼び出しで確率論的に解釈される。
従来の静的アナライザは、構造化された半分を解析するが、散文を無視する; LLMベースのツールは散文を読み取るが、汚染された入力が高インパクトのシンクに達することを再現的に証明することはできない。
エージェントスキルの静的監査ツールであるSemiaについて紹介する。
Semiaは、各スキルをSDL(Skill Description Language)に引き上げる。これは、LLMトリガーされたアクション、散文定義条件、ループ中の人間チェックポイントをキャプチャするDatalogファクトベースである。
我々は,LLM候補を収束するまで改良する提案的検証・評価ループである Constraint-Guided Representation Synthesis (CGRS) を用いて,構造的に健全かつ意味論的に忠実な事実ベースを合成する。
エージェントスキル上のセキュリティプロパティ(例えば、間接インジェクション、シークレットリーク、混乱したデリゲート、防御されていないシンクなど)は、Datalogの到達性クエリに還元される。
我々は,公共市場から13,728の現実世界のスキルを評価する。
セミアはこれら全てを監査可能とし、半数以上が少なくとも1つの重要なセマンティックリスクを負っていることを発見した。
541のエキスパートラベルのスキルの階層化されたサンプルで、Semiaは97.7%のリコールと90.6%のF1を達成し、シグネチャベースのスキャナーとLCMベースラインを大きく上回っている。
関連論文リスト
- ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents [24.540638169054812]
悪意のあるサードパーティのスキルにハイジャックされた単一のエージェントは、データの流出、特権のエスカレーション、カスケード妥協を引き起こす可能性がある。
我々は、エージェントランタイムのためのオープンソースのフレームワークに依存しないセキュリティ監視ゲートウェイであるClawSentryを紹介する。
論文 参考訳（メタデータ） (2026-08-21T13:47:51Z) - VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。
VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。
Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
論文 参考訳（メタデータ） (2026-06-03T20:02:35Z) - Skill-as-Pseudocode: Refactoring Skill Libraries to Pseudocode for LLM Agents [50.78646963535282]
Skill-as-Pseudocode (SaP) はマークダウンスキルライブラリの型付き擬似コードへの自動変換である。
1つ以上のスキルから引き出された類似の手続きパスのクラスタごとに、SaPは型付きコントラクトを抽出し、それを4チェック決定性検証器を通じてフィルタリングする。
プロモートされた契約は、復元された具体的なアクションテンプレートと共に書き直されたスキルスケルトンにインライン化され、エージェントは2つの補完的な信号を与える。
論文 参考訳（メタデータ） (2026-05-27T04:48:40Z) - Securing LLM Agents Need Intent-to-Execution Integrity [49.490963596514185]
我々は, LLMエージェントの確保には, エージェントの実行がユーザの意図を忠実に反映した場合に規定するエンドツーエンドの正当性を定義する必要があると主張している。
LLMエージェントはコンパイラと構造的に類似しており、セキュリティ違反はユーザ意図を保存しない誤った実行に対応する。
emphTool整合性、emph命令整合性、emphJudgment整合性、emphData整合性。
論文 参考訳（メタデータ） (2026-05-16T12:53:31Z) - Methods for Formal Verification of Agent Skills: Three Layers Toward a Mechanically Checkable Capability-Containment Proof [0.0]
LLM駆動のランタイムによってどのようにスキルが消費されるかに忠実なスキル行動に関する正確なセマンティクスを提供します。
本稿では,定式化や定式化によるスキル向上を両立させる構成可能な3つの手法を提案する。
これら3つのメソッドに加えて、バンドルプロデューサと再チェッカーは、オープンソースエンクロードフレームワークのゼロ依存JavaScriptモジュールとして出荷される。
論文 参考訳（メタデータ） (2026-05-09T19:27:38Z) - Sealing the Audit-Runtime Gap for LLM Skills [22.86837061055991]
LLMスキルの監査時間ギャップを封じ込めた最初のフレームワークであるSIGILを提案する。
SIGILは6種類の攻撃にまたがる1023の現場スキルに対して実世界の配備で評価する。
論文 参考訳（メタデータ） (2026-05-06T14:23:22Z) - Bian Que: An Agentic Framework with Flexible Skill Arrangement for Online System Operations [19.829321356625428]
Bian Queは、監視、警告応答、根本原因分析のためのエージェントフレームワークである。
これは中国の主要なショートビデオプラットフォームであるKuaiShouのeコマース検索エンジン上に展開された。
警告ボリュームを75%削減し、80%の根源解析精度を実現し、平均分解時間を50%以上削減する。
論文 参考訳（メタデータ） (2026-04-29T15:35:01Z) - RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents [0.9821874476902969]
LLMエージェントは、単一のスカラーテストメトリクスで成功を判断するエンドツーエンドのMLエンジニアリングタスクをますます実行します。
エージェントは、モデルを改善するのではなく、評価パイプラインを妥協することで、報告されたスコアを増やすことができる。
ワークスペースベースのベンチマークであるRewardHackingAgentsを導入する。
論文 参考訳（メタデータ） (2026-03-11T22:06:44Z) - RAVEL: Reasoning Agents for Validating and Evaluating LLM Text Synthesis [78.32151470154422]
テスト担当者が自律的に設計し、典型的な合成操作を実行できるようにするためのエージェントフレームワークであるRAVELを紹介する。
C3EBenchは、プロの人間の文章から1,258個のサンプルを抽出したベンチマークである。
SOTA LLMを演算子としてRAVELを増強することにより、そのようなエージェントテキスト合成はLLMの推論能力に支配されていることがわかった。
論文 参考訳（メタデータ） (2026-02-28T14:47:34Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Connecting the Dots: Training-Free Visual Grounding via Agentic Reasoning [63.109585527799005]
GroundingAgentは、タスク固有の微調整なしで動作するビジュアルグラウンドティングフレームワークである。
広く使用されているベンチマークでは、平均ゼロショットグラウンドの精度は65.1%である。
また、強い解釈可能性を提供し、各推論ステップを透過的に照らす。
論文 参考訳（メタデータ） (2025-11-24T03:11:08Z) - Distilling LLM Agent into Small Models with Retrieval and Code Tools [65.73762766854192]
Agent Distillationは、推論能力とタスク解決の振る舞いを大きな言語モデルから小さな言語モデルに移行するためのフレームワークである。
その結果,SLMは0.5B,1.5B,3Bのパラメータで,次世代の1.5B,3B,7Bモデルと競合する性能が得られることがわかった。
論文 参考訳（メタデータ） (2025-05-23T08:20:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。