論文の概要: Evidence-Calibrated Runtime Reconstruction for Agent Skills Across Heterogeneous Coding Agents
- arxiv url: http://arxiv.org/abs/2608.08793v1
- Date: Sun, 09 Aug 2026 16:18:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.951324
- Title: Evidence-Calibrated Runtime Reconstruction for Agent Skills Across Heterogeneous Coding Agents
- Title（参考訳）: 不均一な符号化エージェント間のエージェントスキルに対するエビデンス校正実行時再構成
- Abstract要約: 我々は、異種ハーネス間のスキルライフサイクルステージを再構築するパッシブランタイムインテリジェンスシステムであるスキルインテリジェンスを提案する。
事象の存在は境界忠実性ではなく、複合的正確なスコアは異なる誤りを隠蔽し、モデル説明は決定論的事実を上書きしてはならないことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent Skills package reusable instructions and assets for tool-using language-model agents. Progressive loading creates failure boundaries poorly represented by session-, model-, or tool-centric traces: a Skill can be discovered but not activated, activated without instructions, or appear successful without an independently verified outcome. We present Skill Runtime Intelligence, a passive runtime-intelligence system that reconstructs supported Skill-lifecycle stages across heterogeneous harnesses while preserving unsupported stages as unknown. Its Run Panorama separates immutable events, deterministic relations, inferred diagnoses, and controlled outcomes with four evidence grades; optional trace import and OTLP/HTTP export support existing observability deployments. Across six frozen repository profiles, three coding agents, and seven clean or fault-injected conditions, all 126 executions preserve source worktrees and each correlates to exactly one source session. Yet adapters expose three distinct semantics: no Skill runs; complete runs but no failure-like events; or failure-like events in every operational-failure and clean session. In a seven-template diagnostic study, semantic aliases and Panorama localize the same six non-clean boundaries but differ in exact/status behavior; both Raw views emit a failure status on all 18 clean cases, while Panorama emits none. A known-rule graph conforms to 126/126 frozen contracts, whereas a second model completes only 228/378 calls. These observations motivate executable adapter qualification and show that event presence is not boundary fidelity, composite exact scores mask distinct errors, and model explanations must not overwrite deterministic facts.
- Abstract（参考訳）: Agent Skillsはツールを使用する言語モデルエージェントのための再利用可能な命令とアセットをパッケージする。
プログレッシブローディングは、セッション、モデル、あるいはツール中心のトレースで表現されていない障害境界を生成する。
Skill Runtime Intelligenceは、不均一なハーネスにまたがってSkillライフサイクルのステージを再構築するパッシブランタイムインテリジェンスシステムである。
その実行パノラマは、不変イベント、決定論的関係、推測診断、および4つのエビデンスグレードでコントロールされた結果、オプションのトレースインポートとOTLP/HTTPエクスポートを分離し、既存の可観測性デプロイメントをサポートする。
6つの凍結されたリポジトリプロファイル、3つのコーディングエージェント、7つのクリーンまたはフォールトインジェクトされた条件で、すべての126の実行はソースワークツリーを保持し、それぞれが正確に1つのソースセッションに相関する。
しかし、アダプタは3つの異なるセマンティクスを公開している: スキルの実行なし、完全な実行だが、障害のようなイベント、そしてすべての運用障害およびクリーンセッションにおける障害のようなイベント。
7段階の診断研究において、セマンティックエイリアスとパノラマは同じ6つの非クリーン境界をローカライズするが、正確かつ統計的な振る舞いが異なる。
既知のルールグラフは126/126の凍結契約に適合するが、第2のモデルは228/378の呼び出ししか完了しない。
これらの観察は、実行可能アダプタの資格を動機付け、事象の存在が境界忠実性ではなく、複合的正確なスコアが異なる誤りを隠蔽し、モデル説明が決定論的事実を上書きしてはいけないことを示す。
関連論文リスト
- Agent Mesh: Reliability Primitives for Non-Idempotent Agent Delegation - Identity Adequacy and Evidence Adequacy [0.0]
本報告では,81回にまたがる147件の番号付インシデントに対して,生産エージェント型ソフトウェアデリバリプラットフォームが故障したことを報告する。
50-4連続して成功したツールコールのループには、エラーレートブレーカが見つからない。
メッセージではなくデリゲートを執行単位とする7つの信頼性プリミティブを導出します。
論文 参考訳（メタデータ） (2026-08-26T15:38:21Z) - Beyond Multimodal Alignment: Certifying Physical Language through Response Substitution and Ordered Execution [18.546826658944806]
運用能力階層とDisjoint-Bridge Operator-Substitution Certificateを導入する。
クラスタハプティックでは、同じ見えない表面の音響および加速度の表現は、間違った表面のペアリングよりも4.5倍近い応答空間である。
次に, 相補的モダリティ盲点を有する制御エラストプラチン系における順行性試験を行った。
論文 参考訳（メタデータ） (2026-08-19T23:04:53Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - TRACE-CTI: Auditable Post-Extraction Governance of TTP Claims with Knowledge Graphs [4.960649631468518]
TRACE-CTIは、抽出後のクレーム管理フレームワークである。
実行レベルの予測を構成レベルのGraphAssertionに集約する。
これはConsensusAssertionsとしてセットアップdedlicated corroborationを具体化する。
論文 参考訳（メタデータ） (2026-07-27T15:33:18Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。
エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。
AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
論文 参考訳（メタデータ） (2026-07-11T00:57:36Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。
i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
論文 参考訳（メタデータ） (2026-05-19T22:05:12Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。
ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。
本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
論文 参考訳（メタデータ） (2026-03-22T21:50:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。