論文の概要: Why Static Skill Inconsistencies Do Not Equate to Runtime Risks: A Behavioral Analysis of LLM Agent Execution
- arxiv url: http://arxiv.org/abs/2610.18927v1
- Date: Tue, 13 Oct 2026 07:01:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.727485
- Title: Why Static Skill Inconsistencies Do Not Equate to Runtime Risks: A Behavioral Analysis of LLM Agent Execution
- Title（参考訳）: 静的スキルの不整合が実行時リスクに合致しない理由:LCMエージェント実行時の行動分析
- Abstract要約: 多コンポーネントのスキルパッケージは、しばしばクロスアーティファクトの不整合に悩まされる。
本稿では,スキルの不整合のランタイムへの影響を解明するための系統的な実証的研究について述べる。
- 参考スコア（独自算出の注目度）: 8.81256868517545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agent frameworks heavily rely on external skill assets to standardize tool usage, encode operational workflows, and supply executable runtime resources. Despite their widespread adoption, multi-component skill packages frequently suffer from cross-artifact inconsistencies, where documentation, scripts, and configuration files specify conflicting behavioral constraints. Although static auditing techniques can uncover such contractual discrepancies, static defect volume cannot reliably reflect real-world agent performance degradation. This gap leaves practitioners without rigorous evidence to assess the practical risk of flawed agent skills. This paper presents a systematic empirical study to demystify the runtime implications of skill inconsistencies. We conduct large-scale auditing over 575 community and benchmark skills, yielding 1,182 manually validated contract inconsistencies. We further build a controlled evaluation pipeline with 49 executable agent tasks and three representative LLMs across NoSkill, OriginalSkill, and FixedSkill experimental settings. Through fine-grained behavioral analysis of 441 paired execution trajectories, we quantify the actual performance impacts of resolved defects.
- Abstract（参考訳）: LLMエージェントフレームワークは、ツール使用の標準化、運用ワークフローのエンコード、実行時リソースの供給など、外部スキルアセットに大きく依存している。
広く採用されているにもかかわらず、多コンポーネントのスキルパッケージは、文書、スクリプト、構成ファイルが矛盾する振る舞いの制約を指定するという、多要素間の不整合に悩まされることが多い。
静的監査技術はそのような契約上の不一致を明らかにすることができるが、静的な欠陥ボリュームは実世界のエージェントの性能劣化を確実に反映することはできない。
このギャップは、欠陥のあるエージェントスキルの実践的リスクを評価する厳密な証拠のない実践者を残します。
本稿では,スキルの不整合のランタイムへの影響を解明するための系統的な実証的研究について述べる。
575のコミュニティとベンチマークスキルに対して大規模な監査を行い、1,182の契約不整合を手作業で検証した。
さらに、49の実行可能なエージェントタスクと、NoSkill、OriginalSkill、FixedSkillの3つの代表LSMを備えた制御された評価パイプラインを構築します。
441対の実行軌跡のきめ細かい挙動解析により, 解決した欠陥の実際の性能への影響を定量化する。
関連論文リスト
- Where Cyber Agents Struggle: Bottleneck Analysis of Multi-Stage LLM Agents [1.3331647120165038]
マルチステージのLSMベースのサイバーエージェントは、不安定なまま攻撃を完了し、コストがかかるか、実行証拠の誤った解釈に依存している。
本稿では,企業の側方移動シナリオにおいて,オーケストレータ,エグゼキュータ,検証器を併用した自律アドバイザリーシステムのエンドツーエンドの診断研究について述べる。
論文 参考訳（メタデータ） (2026-09-23T11:58:25Z) - CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。
これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。
CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
論文 参考訳（メタデータ） (2026-08-31T01:59:51Z) - Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents [9.71657681051469]
本稿では,タスクの失敗とコストの低下を特定の負荷スキルにもたらすことによって,スキルが引き起こすエージェントの失敗を包括的に分析する。
我々はSkillsBenchとSWE-Skills-Benchでこのフレームワークをインスタンス化し、125の機能障害と182の効率低下を含む307のスキル誘発障害を発生させる。
安全で低コストなスキル再利用のための研究トピックとツールの改善を提案する。
論文 参考訳（メタデータ） (2026-08-12T10:15:19Z) - SLBench: Evaluating How LLM Agents Follow Logical Relations in Skills [15.716453891551057]
本稿では,スキルファイルの論理的関係を解析するフレームワークであるSkillLogicを紹介する。
SkillLogicを使うことで、5000以上の公開スキルをスキャンし、70%が少なくとも1つの論理的関係を持つことがわかった。
次に、高信頼、高インパクト、局所的なテスト可能な関係から86ケースのベンチマークであるSLBenchを構築する。
論文 参考訳（メタデータ） (2026-07-10T00:48:30Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - What Makes a Good LLM Agent for Real-world Penetration Testing? [37.56537537883771]
LLMをベースとした28の浸透試験システムを分析し,複雑性の増大を示す3つのベンチマークで5つの代表的実装を評価した。
我々は、B型障害がLLMの根本原因とほとんど変わらず、エージェントはリアルタイムなタスクの難易度推定を欠いていることを示す。
Excaliburは、強力なツールと困難な計画とを結合した浸透試験エージェントである。
論文 参考訳（メタデータ） (2026-02-19T18:42:40Z) - ARTIS: Agentic Risk-Aware Test-Time Scaling via Iterative Simulation [72.78362530982109]
ARTIS(Agenic Risk-Aware Test-Time Scaling via Iterative Simulation)は、コミットメントから探索を分離するフレームワークである。
LLMをベースとした簡易シミュレータは, 希少かつ高インパクトな障害モードの捕捉に苦慮していることを示す。
本稿では,障害発生行動の忠実度を強調するリスク認識ツールシミュレータを提案する。
論文 参考訳（メタデータ） (2026-02-02T06:33:22Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。