論文の概要: Canonical Procedural Actions: An Auditable Annotation Protocol for Tool-Use Agent Traces
- arxiv url: http://arxiv.org/abs/2609.24264v1
- Date: Mon, 21 Sep 2026 08:26:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.210514
- Title: Canonical Procedural Actions: An Auditable Annotation Protocol for Tool-Use Agent Traces
- Title（参考訳）: Canonical Procedural Actions: Tool-Use Agent Tracesのための監査可能なアノテーションプロトコル
- Abstract要約: Canonical Procedural Actions (CPAs) は、手続き機能、最初のエージェントイベントアンカー、それを実現するエージェントイベント、コンテキスト証拠の分離を記録する。
小売ケーススタディは、オープンインダクション、記録統合、および連続的なアプリケーション監査を通じて、バージョン付き24エントリのコードブックを生成する。
凍結したコードブックを244の軌跡に適用すると,8つの診断結果を含む4,058の記録が得られる。
- 参考スコア（独自算出の注目度）: 2.1449032634585854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-use agent traces identify messages and API calls, but procedural analyses also need explicit units of action and inspectable links to their evidence. We present Canonical Procedural Actions (CPAs), an annotation protocol that records a procedural function, its first agent-event anchor, the agent events that realize it, and separate contextual evidence. Multiple actions may share a message anchor without an inferred within-message order. A retail case study produces a versioned 24-entry codebook through open induction, recorded consolidation, and successive application audits. Two isolated LLM contexts annotate 32 trajectories disjoint from development at the trajectory level, producing 499 and 491 occurrences with anchor-label overlap A=0.982. Requiring identical context-event references reduces overlap to 0.798. These are structural repeatability measures, not semantic accuracy: 16 of 26 task IDs also occur in development, and historical tool payloads were truncated to 110 characters. Retrospective controls show that collapsing all labels raises overlap to 0.986, while simple endpoint rules reproduce the tool-anchored portion with 0.997 overlap. Assistant-message actions have 0.971 overlap, with a per-label minimum of 0.816. Applying the frozen codebook to 244 further trajectories yields 4,058 records, including eight diagnostic outcomes. The contribution is an explicit, auditable annotation instrument and a case study of its construction and measurement limits; human-reference validity and downstream utility remain to be established.
- Abstract（参考訳）: ツール使用エージェントはメッセージとAPI呼び出しをトレースするが、手続き分析には明確なアクションユニットと検査可能なエビデンスへのリンクも必要である。
本稿では、手続き関数を記録したアノテーションプロトコルであるCanonical Procedural Actions(CPA)、その最初のエージェントイベントアンカー、それを実現するエージェントイベント、コンテキスト証拠の分離について述べる。
複数のアクションは、メッセージ内の順序を推測せずにメッセージアンカーを共有することができる。
小売ケーススタディは、オープンインダクション、記録統合、および連続的なアプリケーション監査を通じて、バージョン付き24エントリのコードブックを生成する。
2つのLLMコンテキストは、32の軌跡を軌跡レベルでの発達から切り離し、アンカーラベルオーバーラップA=0.982で499と491が発生する。
同一のコンテキストイベント参照を必要とするとオーバーラップは0.798に減少する。
26のタスクIDのうち16は開発中で、過去のツールペイロードは110文字に切り替わっている。
振り返りコントロールは、すべてのラベルの折りたたみが0.986に重なり、一方単純なエンドポイントルールは0.997重なりのツール補完部分を再現する。
補助メッセージアクションは0.971重なり、ラベルあたりの最小値0.816である。
凍結したコードブックを244の軌跡に適用すると,8つの診断結果を含む4,058の記録が得られる。
このコントリビューションは、明示的で監査可能な楽器であり、その構成と測定限界に関するケーススタディである。
関連論文リスト
- When Agent Metrics Measure Different Things: An Evidence-Grounded Audit of the Praxa AI Pipeline [0.0]
本稿では,選択したPraxa AI実装ファイル,過去の評価アーティファクト,運用記録の振り返り評価を行う。
139ケースのオフラインルーティングレポートには、112回のパスと27回の障害が含まれている。
記録された99番目のパーセンタイルは2,147,483,647 msであり、サーバが保存したコールのうち38,118.31 msである。
論文 参考訳（メタデータ） (2026-09-10T07:55:12Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows [2.435006380732194]
ノイズの多いトレースをトラジェクトリにコンパイルする,スキルガイドシステムであるTraceCompilerを提案する。
あらゆるハードエッジは監査可能な証拠を持ち、あいまいな関係が疑われる。
コールの削減を計測するが、オフラインのコンパイルコストはかからない。
論文 参考訳（メタデータ） (2026-08-03T01:05:06Z) - ContainmentBench: Trace-Based Evaluation of Post-Injection Containment in Tool-Using LLM Agents [4.018837636907658]
我々は、ベンチマーク定義のエンドポイントポリシーコンプライアンスを測定するサンドボックスベースのトレースベースのベンチマークを導入する。
集計されたスレッドのランキングは、エビデンスステージの構成と分母の選択によって変化する。
これらの結果から, 終端政策ラベルは, 被曝後の封じ込めに十分な統計量ではないことが示唆された。
論文 参考訳（メタデータ） (2026-07-27T04:51:20Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。
i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
論文 参考訳（メタデータ） (2026-05-19T22:05:12Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation [11.272830796781925]
8つのモデルバックエンドから60個のSWEベンチ検証タスクの2,614個のOpenHandsトラジェクトリを評価した。
このサブセットで通過する軌道の中で、10.7%はラッキーパスと呼ばれる振る舞いを示す。
本稿では,SWEエージェント軌道のプロセスレベル評価フレームワークであるAgentLensを紹介する。
論文 参考訳（メタデータ） (2026-05-13T03:00:57Z) - ABRA: Agent Benchmark for Radiology Applications [46.39696206872633]
エージェントがビューアとOrthanc DICOMサーバを操作する無線エージェントベンチマークであるABRAを紹介する。
ABRAには3つの困難層と8つのタイプにわたる655の655のタスクが含まれている。
各エピソードは、タスクタイプ固有の自動スコアラーによって、プランニング、実行、アウトカム(Blueth et al., 2025)に沿ってスコアされる。
論文 参考訳（メタデータ） (2026-05-11T20:34:20Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - INSURE-Dial: A Phase-Aware Conversational Dataset & Benchmark for Compliance Verification and Phase Detection [40.157413213893165]
年間約1兆米ドルの電話が米国の医療から排水されている。
我々は、コンプライアンス対応音声エージェントの開発と評価のための最初の公開ベンチマークであるINSURE-Dialを紹介する。
論文 参考訳（メタデータ） (2026-01-28T17:27:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。