論文の概要: Toward User Comprehension Supports for LLM Agent Skill Specifications

• arxiv url: http://arxiv.org/abs/2605.19362v2
• Date: Wed, 20 May 2026 17:49:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.34021
• Title: Toward User Comprehension Supports for LLM Agent Skill Specifications
• Title（参考訳）: LLMエージェントスキル仕様のユーザ理解支援に向けて
• Abstract要約: スキルが何を消費し、生産し、カバーするかに関して、ユーザが限定的な期待を形成するのに、仕様が役立つかどうかを調査する。 878のサイバーセキュリティスキルを通じて、私たちは4つの理解アンカーのテキストの手がかりを測定するためにルールベースのコーディングを使用しました。 エージェントスキルの評価は、仕様をユーザ対応能力開示として扱うべきであると論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Users often interpret and select agent skills through their SKILL markdown specifications. To protect users, existing audits mainly focus on malicious or unsafe skills. We study the complementary question of whether specifications help users form bounded expectations about what a skill consumes, produces, and covers. Across 878 cybersecurity skills, we used rule-based coding to measure textual cues for four comprehension anchors, namely operational basis, output contract, boundary disclosure, and example capability demonstration. Cues for operational basis were common, but only 19.0% of specifications exhibited cues for an example task, sample, or expected outcome, and only 2.3% exhibited cues for all four anchors. We further examined a small DNS/C2 telemetry subset (n$=$6) to illustrate why missing examples may matter. Examples appeared to make first local checks easier to construct, while no-example skills typically required helper code inspection to recover command arguments or output fields. We argue that agent-skill evaluation should treat specifications as user-facing capability disclosures, not merely as containers for executable instructions.
• Abstract（参考訳）: ユーザはしばしば、SKILLマークダウン仕様を通じてエージェントスキルを解釈し、選択する。 ユーザを保護するため、既存の監査は主に悪意のあるスキルや安全でないスキルに重点を置いている。 我々は,スキルが何を消費し,生産し,カバーするかに関して,ユーザが期待する境界を形成する上で,仕様が有効かどうかという補完的な問題について検討する。 878のサイバーセキュリティスキルを通じて、私たちはルールベースのコーディングを使用して、4つの理解アンカー(運用ベース、アウトプット契約、バウンダリ開示、例能力実証)のテキストキューを測定しました。 運用ベースでのキューは一般的であったが、例題、サンプル、または期待結果のキューは19.0%に過ぎず、アンカー4台すべてで2.3%に留まった。 さらに,少人数のDNS/C2テレメトリサブセット(n$=$6)について検討した。 例を挙げると、最初のローカルチェックを構築しやすいように見え、例のないスキルでは、コマンド引数や出力フィールドを復元するためにヘルパーコード検査が必要であった。 エージェントスキルの評価では、仕様を実行可能な命令のコンテナとしてではなく、ユーザ対応の能力開示として扱うべきだと論じている。

関連論文リスト

• Skill Use or Skill Theater? Evaluating the Reasoning Backroom in Skill-Augmented Language Agents [19.325317938976355]
  我々は、スキル強化エージェントが、前述のスキル使用と介入測定の影響の体系的なギャップであるtextbfReasoning Backroom を提示するかどうかを問う。 BACKTRACE(BACKTRACE)は,各スキル条件の回答と一致した非スキルのカウンターファクトとをペアリングする評価フレームワークである。 BACKROOMBenchは、制御された論理と競合数学にまたがる検証ベッドである。
  論文  参考訳（メタデータ） (2026-07-29T21:59:20Z)
• Local LLM Agents as Vulnerable Runtimes:A Source-Code Audit of the Agent Runtime Layer [19.371045551006304]
  OpenClawやNanobotといったローカルLLMエージェントはエンドユーザマシン上で動作し、ホストリソースで動作します。 CLAWAUDITは、ローカルエージェントランタイムにおける脆弱性の暴露を測定するための静的監査フレームワークである。 事前のライブコード監査では、これらのリコール指向のルールは手作業によるトリアージを必要とし、本番デプロイメント前にセマンティックフィルタリングを動機付けている。
  論文  参考訳（メタデータ） (2026-06-19T03:40:00Z)
• SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
  SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。 行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。 Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
  論文  参考訳（メタデータ） (2026-06-12T08:20:09Z)
• Skill Coverage: A Test Adequacy Metric for Agent Skills [17.60316723069748]
  エージェントスキルは、タスクと実行コンテキストをまたいだ大きな言語モデルエージェントをガイドする再利用可能な手続き的知識をエンコードする。 テスト対象のスキルアーティファクトを対象として扱う,テストの妥当性指標であるスキルカバレッジを導入します。 SkillsBenchにスキルカバレッジを適用すると、既存のベンチマークの実行はスキル行動の制約の39.90から43.98%しかカバーしていないことが明らかになった。
  論文  参考訳（メタデータ） (2026-06-09T10:16:05Z)
• Anything2Skill: Compiling External Knowledge into Reusable Skills for Agents [27.965275812765015]
  Anything2Skillは、異種外部の知識を再利用可能な、検索可能な、エージェントの実行可能なスキルにコンパイルする分類誘導フレームワークである。 我々は、Anything2SkillとRAGを組み合わせることで、それぞれ98.85%と94.10%の成功率が得られることを示した。
  論文  参考訳（メタデータ） (2026-06-08T10:24:32Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• From Skill Text to Skill Structure: The Scheduling-Structural-Logical Representation for Agent Skills [5.327990835740087]
  スケジューリング-構造論理(SSL)表現は、スキルレベルのスケジューリング信号、シーンレベルの実行構造、ロジックレベルのアクション/リソース使用エビデンスを歪めます。 SSL を LLM ベースの正規化器でインスタンス化し,SSL 由来の表現をスキル発見とリスク評価という2つのタスクで評価する。
  論文  参考訳（メタデータ） (2026-04-27T04:25:15Z)
• Supply-Chain Poisoning Attacks Against LLM Coding Agent Skill Ecosystems [35.65937852381774]
  Document-Driven Implicit Payload Execution (DDIPE)は、コード例や設定テンプレートに悪意のあるロジックを埋め込む。 我々は15のMITRE ATTACKカテゴリで81種から1,070の対逆スキルを生成した。 DDIPEは11.6%から33.5%のバイパス率を獲得し、明示的な命令攻撃は強い防御下で0%を達成する。
  論文  参考訳（メタデータ） (2026-04-03T14:58:58Z)
• Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge [50.009682083079205]
  我々は,文脈的リコールが単独で事前学習から生じるかどうかを検討する。 ICL評価とは異なる暗黙的推論を必要とするタスクの微調整は、文脈的リコールの出現を誘発することを示す。 メカニカル・インサイト(メカニカル・インサイト)では,現実から文脈への遷移を再現するアテンションオンリー・トランスフォーマーの構成を導出する。
  論文  参考訳（メタデータ） (2026-03-21T22:46:55Z)
• Auxiliary Metrics Help Decoding Skill Neurons in the Wild [52.148049490080496]
  我々は、特定のスキルをコードするニューロンを分離するための、シンプルで軽量で広く適用可能な方法を紹介した。 我々は,ニューロンの活性化を,外部ラベルやモデル自身の信頼スコアなどの補助的指標と相関する。 我々は,オープンエンドテキスト生成と自然言語推論にまたがるタスクに対して,我々の手法を実証的に検証する。
  論文  参考訳（メタデータ） (2025-11-26T17:31:53Z)
• Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
  大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。 RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。 これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。 我々は、無害な」知識基盤の著作権保護の名称を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:15:56Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• SpeciaLex: A Benchmark for In-Context Specialized Lexicon Learning [4.1205832766381985]
  SpeciaLexは、特殊レキシコンベースの制約に従う言語モデルの能力を評価するためのベンチマークである。 本稿では,15のオープン・クローズド・ソース LLM の実証評価を行い,モデルスケール,オープンネス,セットアップ,信頼性などの要因が,ベンチマークで評価した場合のパフォーマンスに与える影響について考察する。
  論文  参考訳（メタデータ） (2024-07-18T08:56:02Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。