論文の概要: TRUSS: Towards Task-Reliable and User-Safe Automated Agent Skill Generation
- arxiv url: http://arxiv.org/abs/2608.17588v1
- Date: Tue, 18 Aug 2026 09:52:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.298593
- Title: TRUSS: Towards Task-Reliable and User-Safe Automated Agent Skill Generation
- Title（参考訳）: TRUSS:タスク信頼性とユーザセーフなエージェントスキル生成を目指す
- Abstract要約: TRUSSは、機能的で安全性の高いエージェントスキルを生成するためのエビデンスガイド付きフレームワークである。
我々は,SkillGenBenchの168個のSkillInjectアーティファクト,155個のSkillSafetyBenchケース,および187個のタスクについてTRUSSを評価した。
スキル生成では、TRUSSはタスク効率を17.11%から52.94%に引き上げ、ベンチマークセキュリティ率は50.80%から100.00%に向上した。
- 参考スコア（独自算出の注目度）: 13.298401993417611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent Skills package reusable natural language procedures with executable resources, enabling software agents to acquire task specific capabilities without model adaptation. Automatically generating such Skills can improve task performance, yet evaluating a candidate solely from its artifact or final task outcome leaves unresolved which actions the equipped agent will perform and which side effects those actions will produce. We present TRUSS, an evidence guided framework for generating functionally effective and safety reliable Agent Skills. TRUSS first inspects functional claims against source and domain evidence while evaluating the complete artifact under nine predefined safety properties. Candidates admitted by this static gate are loaded by a shadow agent inside a Controllable Execution Environment, where brokered tools expose requested actions to policy enforcement and record their results as provenance preserving execution traces. Functional failures and property violations are linked back to the responsible Skill content and used to guide iterative refinement. We evaluate TRUSS on 168 SkillInject artifacts, 155 SkillSafetyBench cases, and all 187 tasks in SkillGenBench. TRUSS achieves 100.00\% precision and recall in vulnerability detection. Repair reduces attack success from 38.71\% to 19.35\% with GPT 5.5 and from 46.45\% to 29.68\% with GPT 5.4, with zero attack regression. For Skill generation, TRUSS raises task effectiveness from 17.11\% without Skills to 52.94\%, while increasing the benchmark Security rate from 50.80\% to 100.00\%. These results show that execution evidence can expose behavioral failures missed by artifact inspection and can guide Skill generation toward jointly verified functional and safety outcomes.
- Abstract（参考訳）: Agent Skillsは、実行可能なリソースで再利用可能な自然言語プロシージャをパッケージし、ソフトウェアエージェントがモデル適応なしでタスク固有の機能を取得することができる。
このようなスキルを自動生成することでタスクのパフォーマンスが向上するが、候補をその成果物や最終課題結果のみから評価すると、どのアクションが実行され、どのアクションが生成されるかは未解決となる。
本稿では,機能的で安全性の高いエージェントスキルを生成するためのエビデンスガイドフレームワークTRUSSを紹介する。
TRUSSはまず、9つの事前定義された安全特性の下で完全なアーティファクトを評価しながら、ソースとドメインのエビデンスに対する機能的クレームを検査する。
この静的ゲートによって承認された候補は、コントロール可能な実行環境内のシャドーエージェントによってロードされる。
機能障害とプロパティ違反は、責任あるスキルコンテンツにリンクされ、反復的洗練のガイドに使用される。
我々は,SkillGenBenchの168個のSkillInjectアーティファクト,155個のSkillSafetyBenchケース,および187個のタスクについてTRUSSを評価した。
TRUSSは100.00\%の精度を達成し、脆弱性検出をリコールする。
修復はGPT 5.5で38.71\%から19.35\%、GPT 5.4で46.45\%から29.68\%に減少し、攻撃はゼロとなる。
スキル生成では、TRUSSはタスク効率を17.11\%から52.94\%に引き上げ、ベンチマークセキュリティレートを50.80\%から100.00\%に引き上げる。
これらの結果から, 実施証拠は, 人工物検査で見逃された行動障害を露呈し, スキル生成を, 共同で検証された機能的, 安全性的な結果へ導くことが可能であることが示唆された。
関連論文リスト
- BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。
この対話性は、評価を報酬ハッキングに脆弱にする。
本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
論文 参考訳（メタデータ） (2026-09-10T03:10:58Z) - Defense-as-Skill: Evolving Runtime Guard Skill for Skill-Augmented Agents [30.77975669386977]
我々は、ランタイムガード自体をインストール可能で、検査可能で、編集可能なスキルとして実装する防衛パラダイムであるDefense-as-Skillを提案する。
私たちのガードであるSkillSonarは、ユーザのタスク境界に対するセンシティブなアクションをチェックし、各アクションを許容、再計画、確認決定にルーティングします。
論文 参考訳（メタデータ） (2026-09-01T16:19:31Z) - Task-Conditioned Least-Privilege Learning for Executable Terminal and MCP Agents [45.88028371034407]
ツールを使用する大規模言語モデルエージェントは、ユーザが許可しなかったり、タスクが不要であったりする権限を行使しながらタスクを完了することができる。
本研究では,6次元のリスクを伴って各行動が実行前および観測結果から監査される枠組みを提案する。
このフレームワークを1500以上のタスクでQwen3.5-4Bでトレーニングした後、選択された種子は2,896回の評価エピソードで98.48%の安全成功に達した。
論文 参考訳（メタデータ） (2026-08-18T22:07:23Z) - Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents [9.71657681051469]
本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
論文 参考訳（メタデータ） (2026-08-12T10:15:19Z) - ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。
本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。
ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
論文 参考訳（メタデータ） (2026-08-10T11:45:03Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - RedAct: Redacting Agent Capability Traces for Procedural Skill Protection [6.305785618804429]
実行トレースには、ツールの実行、中間決定、エラー回復ロジックなど、手続きの詳細が豊富に含まれている。
この詳細はプライベートな手続きスキルを公開して、ダウンストリームメソッドがモデルウェイトやスキルファイルにアクセスせずに、重要な公式、しきい値、戦略を復元することを可能にする。
我々は,保護キー情報をローカライズする保護されたトレースリリースフレームワークであるRedActを紹介する。
論文 参考訳（メタデータ） (2026-06-09T12:57:50Z) - SkillGuard: A Permission Framework for Agent Skills [14.787581333168859]
我々はスキル中心のパーミッションフレームワークであるSkillGuardを紹介した。
SkillGuardを実世界の315のスキルとSkillInjectで評価した。
論文 参考訳（メタデータ） (2026-06-02T02:01:53Z) - SkillHarm: Lifecycle-Aware Skill-Based Attacks via Automated Construction [89.03272793385054]
エージェントスキルはエージェントワークフローにおける特権的な位置を占め、サードパーティスキルを脆弱な攻撃面にする。
我々はスキルベースアタックのベンチマークであるSkillHarmを紹介した。
攻撃成功率はFPPが86.3%、SMPが69.3%である。
論文 参考訳（メタデータ） (2026-06-01T17:45:39Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement [66.44008181092832]
LLMベースのエージェントシステムは、その能力を拡張するためにオープンレジストリからのエージェントスキルにますます依存している。
SkillAttackは、敵のプロンプトを通じて、スキル脆弱性の脆弱性を検証できるフレームワークである。
論文 参考訳（メタデータ） (2026-04-05T06:25:11Z) - The Verifier Tax: Horizon Dependent Safety Success Tradeoffs in Tool Using LLM Agents [1.3299507495084417]
本研究では, 大規模言語モデル (LLM) エージェントを用いた多段階ツールにおいて, 実行時の安全でない動作に対する強制が, エンドツーエンドのタスクパフォーマンスに与える影響について検討する。
モデル依存相互作用の地平線(15～30ターン)を特定し、その結果を総合成功率(SR)、安全な成功率(SSR)、安全でない成功率(USR)に分解する。
論文 参考訳（メタデータ） (2026-03-18T16:16:34Z) - Exploring Expert Failures Improves LLM Agent Tuning [74.0772570556016]
本稿では,失敗した専門家の軌道から有益な行動を識別する専門的失敗の探索(EEF)を提案する。
EEFは、未解決のいくつかのサブタスクをうまく解決し、エージェントチューニング性能を改善する。
論文 参考訳（メタデータ） (2025-04-17T17:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。