論文の概要: From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution
- arxiv url: http://arxiv.org/abs/2610.00015v1
- Date: Mon, 27 Jul 2026 05:57:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.309866
- Title: From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution
- Title(参考訳): 検証効果の提案からプラクサ : 統治されたAIエージェントの実行のためのエビデンス・バウンド・ハーネス
- Abstract要約: 大規模言語モデルエージェントはアクションの提案と実行を行うことができるが、提案、権限、ディスパッチ、検証された外部効果、プロモーションは異なるクレームである。
本稿では,これらの状態を明確に表現するエージェントハーネスであるPraxaについて,決定論的容認,ブローカー実行,外部読み取り,和解,再検討を通じて紹介する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-language-model agents can propose and execute actions, but proposal, authority, dispatch, verified external effect, and serving promotion are different claims. We present Praxa, an agent harness that represents these states explicitly through deterministic admission, brokered execution, external read-back, reconciliation, and reviewed promotion. We report four evidence lanes. First, an author-run repository-local audit at a pinned revision passed 1,027/1,027 unit tests and 89/89 Workerd tests, instrumented all 363 expected source files, and met four coverage floors; raw per-test transcripts and independent reproduction are unavailable. Second, in a provider-backed Terminal-Bench Core 0.1.1 pilot across 12 curated tasks, baseline and reliability-layer arms each passed 17/36 strict trials. The reliability layer used 37.49% more input and 50.73% more output tokens, so the pilot does not support superiority. Third, in a post-debug, two-order coordination-proxy development comparison, baseline and a source-authored candidate each completed 180/180 trials with equal measured accuracy, full hermetic crash recovery, and zero protected violations. The candidate used 37.11% fewer tokens, 33.84% lower estimated endpoint cost, and 11.63% fewer steps; this does not establish improved quality, latency, or production behavior. Fourth, deployed source/configuration evidence shows bounded reflection, recall accounting, memory compilation, and tool-health paths, but no production outcome lift. Praxa's supported contribution is an evidence-bound architecture that makes authority-to-effect transitions explicit and testable. Current evidence does not establish adversarial security, production safety, general specialist superiority, autonomous recursive optimization, or user benefit.
- Abstract(参考訳): 大規模言語モデルエージェントはアクションの提案と実行を行うことができるが、提案、権限、ディスパッチ、検証された外部効果、プロモーションは異なるクレームである。
本稿では,これらの状態を明確に表現するエージェントハーネスであるPraxaについて述べる。
私たちは4つの証拠を報告します。
まず、ピン付きリビジョンで著者が運営するリポジトリローカル監査が1,027/1,027の単体テストと89/89のWorkerdテストに合格し、363の期待されるソースファイルをすべて計測し、4つのカバレッジフロアに到達した。
第二に、プロバイダーが支援するターミナル・ベンチ・コア0.1.1のパイロットは、12の訓練されたタスク、ベースラインと信頼性の高いレイヤーのアームをそれぞれ17/36の厳格な試験に合格した。
信頼性層は37.49%以上の入力と50.73%以上の出力トークンを使用しており、パイロットは優位性をサポートしていない。
第3に、デバッグ後の二階調整・プロキシ開発比較において、ベースラインとソースオーサリングされた候補はそれぞれ180/180の試験を完了し、測定精度は等しく、完全な悲惨なクラッシュ回復、保護された違反はゼロであった。
この候補者は37.11%のトークンを減らし、33.84%のエンドポイントコストを減らし、11.63%のステップを減らした。
第4にデプロイされたソース/設定エビデンスには、リフレクション、リコールアカウント、メモリコンパイル、ツールヘルスパスがあるが、生産結果の上昇はない。
Praxaがサポートするコントリビューションは、権限と効果の移行を明確にし、テスト可能にするエビデンスバウンドアーキテクチャである。
現在の証拠では、敵のセキュリティ、生産安全性、一般スペシャリストの優位性、自律的な再帰的最適化、ユーザー利益は確立されていない。
関連論文リスト
- Failure-Transparent Agents: Benchmarking Post-Failure Reporting in Tool-Using Language Models [0.21987601456703476]
本稿では,フェール・トランスペアレント・エージェント(FTA)について紹介する。
FTAには5つの障害ファミリにまたがる決定論的障害トレース、中立的なコントロール、4つのユーザプレッシャ条件を備えた100のタスクが含まれている。
6つのモデルで、偽失率は基本方針下で22.8%、透明な命令で9.3%、構造化された証拠契約で0.8%である。
論文 参考訳(メタデータ) (2026-09-28T17:51:41Z) - Maintaining Benchmarks Against Increasingly Capable Agents: Detection and Remediation of Unearned Passes [15.12761261423003]
エージェントベンチマークは、モデルの選択とトレーニングをガイドする。しかしながら、エージェントは意図した能力を示すことなくタスクをパスすることができる。
エージェントが改善するにつれて、かつて無害と思われたベンチマークサーフェスは悪用され、ベンチマークの検証が進行中のメンテナンス問題となる。
本稿では,パストラジェクトリを監査し,証明された報酬ハッキングとバリデーションの弱点を識別するプロセス検証フレームワークを導入し,修復に有効な表面をローカライズする。
論文 参考訳(メタデータ) (2026-09-28T04:07:52Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳(メタデータ) (2026-09-23T17:54:01Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - Beyond Agent Harnesses: Cross-Substrate Authority for Multi-Agent Systems [11.339095480463712]
エージェントシステムはワークスペースを変更しながらモデル可視メモリを保持し、ランタイム、レジストリ、承認サービスは両方の外部で権限状態を保持することができる。
決定に関連する認証情報は、プランナー可視のワークスペースやメモリ状態の外に存在します。
3つの実験は、実際のGit系統を使用したプランナー・オブザーブレーションと実行時の権限チェックを比較する。
論文 参考訳(メタデータ) (2026-09-08T09:11:53Z) - Auditing and Decomposing Feedback-Driven Evolution in LLM Test Generation under the Oracle Problem [14.44743150931186]
無効または不特定な入力は、急激な障害検出と明らかな進化的利益を生み出す。
我々は、142の開発タスク、114のロックされた外部タスク、128のホールドアウトタスクを使用して、フィードバック駆動のテスト生成において、この障害モードを監査する。
自己進化型テストジェネレータの評価において,検証対象のアーティファクト,インタラクションの足場,グラウンドドフィードバックを分離するオーディエンス・アンド・プレースボプロトコルを提案する。
論文 参考訳(メタデータ) (2026-08-20T04:29:35Z) - When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering [0.0]
バイナリは、データをある起源からの命令やレコードのように、独立したエビデンスのように見せることができる。
我々は、逆エンジニアリング(RARE)における融合攻撃(Confusion Attacks in Reverse Engineering)と呼ぶ。
RAREはこれらの障害を測定する。
Ghidra, r2pipe, angrを16のプログラムに実装する。
論文 参考訳(メタデータ) (2026-07-14T08:38:10Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳(メタデータ) (2026-06-03T17:06:49Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳(メタデータ) (2026-04-07T17:43:18Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳(メタデータ) (2026-04-02T01:13:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。