論文の概要: When Agent Metrics Measure Different Things: An Evidence-Grounded Audit of the Praxa AI Pipeline

• arxiv url: http://arxiv.org/abs/2609.12017v1
• Date: Thu, 10 Sep 2026 07:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.49107
• Title: When Agent Metrics Measure Different Things: An Evidence-Grounded Audit of the Praxa AI Pipeline
• Title（参考訳）: エージェントメトリクスがさまざまなものを測定するとき - Praxa AIパイプラインのエビデンスを取り巻く監査
• Abstract要約: 本稿では,選択したPraxa AI実装ファイル,過去の評価アーティファクト,運用記録の振り返り評価を行う。 139ケースのオフラインルーティングレポートには、112回のパスと27回の障害が含まれている。 記録された99番目のパーセンタイルは2,147,483,647 msであり、サーバが保存したコールのうち38,118.31 msである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent evaluations can be numerically correct while measuring a different construct from the one implied by their labels. We present a retrospective measurement audit of selected Praxa AI implementation files, historical evaluation artifacts, and operational records. A 139-case offline routing report contains 112 passes and 27 failures despite zero gating failures, because known gaps are explicitly exempted from the gate. An identifier-free export represents 8,843 tool-attempt rows: 8,395 recorded durations and 448 missing values. Of the durations, 121 equal the signed 32-bit maximum and carry abandoned-client labels; inspected database code clamps elapsed lifecycle age. The pooled recorded 99th percentile is 2,147,483,647 ms, versus 38,118.31 ms among server-observed completed calls. This is a stratum contrast, not a treatment effect. In a documented single-trajectory compaction pilot, the reported follow-up input reduction is 94.39%, but the reduction across the trigger and follow-up calls together is 46.54%. We reproduce the descriptive calculations, verify 91 timing statistics through a separate weighted rational-arithmetic implementation, and execute 13 scoring-function and 12 analysis-verifier tests. Finite-completion bounds show how missing durations limit all-row timing statements without imputing values. The contribution is a source-linked case study and reusable verification package for separating gate policy, lifecycle timing, and request-level accounting from broader agent-performance claims. Historical provider runs and the full current pipeline were not independently reproduced; general capability superiority and population-level statistical significance are not established.
• Abstract（参考訳）: エージェント評価は、ラベルによって示唆されるものと異なる構成を測りながら数値的に正確である。 本稿では,選択したPraxa AI実装ファイル,過去の評価アーティファクト,運用記録の振り返り評価を行う。 139ケースのオフラインルーティングレポートには、112回のパスと27回の障害が含まれているが、ゲートから既知のギャップが明示的に除外されているため、ゲーティングの失敗はゼロである。 識別子なしのエクスポートは,8,843行のツール警告行で,8,395回の記録と448回の欠落を表現している。 期間のうち、121は署名された32ビットの最大値と同等であり、放棄されたクライアントラベルを持ち、データベースコードクランプは寿命が経過する。 記録された99番目のパーセンタイルは2,147,483,647 msであり、サーバが保存したコールのうち38,118.31 msである。 これは、治療効果ではなく、地層的なコントラストである。 文書化された単軌道圧縮パイロットでは、報告された後続入力の減少率は94.39%であるが、トリガーと後続呼び出しの減少は46.54%である。 我々は、記述的計算を再現し、重み付けされた有理算術的実装を用いて91のタイミング統計を検証し、13のスコアリング関数と12の解析検証テストを実行する。 有限コンプリートバウンダリは、欠落期間が、命令値なしで全行タイミングステートメントを制限していることを示す。 このコントリビューションは、より広範なエージェントパフォーマンスクレームからゲートポリシー、ライフサイクルタイミング、要求レベルの会計を分離するための、ソースリンクされたケーススタディと再利用可能な検証パッケージである。 歴史的プロバイダー・ランとフル・カレント・パイプラインは独立して再生されず、一般能力の優位性と人口レベルの統計的重要性は確立されていない。

関連論文リスト

• Threshold Choice, Not Sample Size, Bounds Trustless Verification of Nondeterministic Compound AI Workflows [0.0]
  複合AIパイプライン LLMコール、レトリバー、ツールは非決定論的である。 各ステージのインプット、アウトプット、コンテキストのダイジェストをコミットします。 合成HotpotQAパイプラインでは、校正された固定しきい値が45個の正直な複製のうち44個を受け入れ、105個の発散ペアのうち104個を拒絶する。
  論文  参考訳（メタデータ） (2026-09-07T22:10:54Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• When May an Agent Stop? Evidence-Carrying Termination for Tool-Using LLMs [1.7936680693145324]
  ECTは、宣言された前提の下で、外部の真実、安全性、アライメントではなく、記録されたトレースでのサポートを認定する。 ECTは18/66の軌道で回復を成功させ、そのうち17機はその後支援を完了した。
  論文  参考訳（メタデータ） (2026-08-22T18:56:27Z)
• The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
  コード修復における制御ケーススタディを報告し,新しい現象ではない。 私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。 BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。 厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
  論文  参考訳（メタデータ） (2026-08-14T19:22:50Z)
• Does Splitting a Triage Decision Across Agents Hide Bias or Help Catch It? A Multi-Agent Simulation Study of LLM-Based Resource Allocation Under Audit Capacity Constraints [0.0]
  我々は、同じ決定がロール微分マルチエージェントパイプラインに分散されたとき、バイアスに何が起こるかを研究する。 2つの条件の間に偏りが生じる頻度について、測定可能な違いは見つからない。 バイアスが捕捉されるかどうかに監査能力が大きな、そして重大な影響を与えることが分かっています。
  論文  参考訳（メタデータ） (2026-08-07T08:25:53Z)
• Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks [38.52523278435824]
  Argusは永続的で自己進化的なランタイムで、マネージャ、プランナー、エンジニア、レビューアが耐久性のあるプロジェクトステート上で有界なミッションを実行します。 Argusは、安定したユーザ意図を運用目標、制約、検証基準から切り離し、メモリ、スキル、プロシージャ、バリデーション、ルーティング決定を許可し、ロール所有のレビューと利用可能なタスクネイティブ検証の後にのみ拒否されたルートを承認する。
  論文  参考訳（メタデータ） (2026-08-05T17:58:58Z)
• TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows [2.435006380732194]
  ノイズの多いトレースをトラジェクトリにコンパイルする,スキルガイドシステムであるTraceCompilerを提案する。 あらゆるハードエッジは監査可能な証拠を持ち、あいまいな関係が疑われる。 コールの削減を計測するが、オフラインのコンパイルコストはかからない。
  論文  参考訳（メタデータ） (2026-08-03T01:05:06Z)
• Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
  正しいパッチの発見と保持、検証、提出のギャップについて検討する。 我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-27T16:05:23Z)
• Mean Time to Remediate Is Not a Fielding Model: A Cadence Audit for Enterprise Vulnerability Management [51.56484100374058]
  本稿では,企業脆弱性管理のための改善ケイデンス監査について紹介する。 平均ラグ、放出期間、放出率、コホート幾何、緊急/ルーチン分割、非着地遅延、局所残留圧証拠、宣言されたレートシナリオを記録している。
  論文  参考訳（メタデータ） (2026-07-05T21:23:26Z)
• Verify-Gated Completion as Admission Control in a Governed Multi-Agent Runtime: A Bounded Architecture Case Study [0.6875312133832079]
  制御されたマルチエージェントランタイムの入出力制御パターンとして,検証ゲート補完について検討する。 観測条件下では,読み取り専用検証ゲートとパケット化入力記録が検査可能で,フェールクロースされた。
  論文  参考訳（メタデータ） (2026-05-18T07:52:13Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• SBEST: Spectrum-Based Fault Localization Without Fault-Triggering Tests [17.90798133817018]
  本研究は, 事故報告から得られたスタックトレースを, スペクトルベース断層定位における故障トリガー試験のプロキシとして用いる可能性について検討した。 本稿では,スタックトレース情報とテストカバレッジデータを統合する新たな手法であるSBESTを提案する。
  論文  参考訳（メタデータ） (2024-05-01T15:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。