論文の概要: APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport

• arxiv url: http://arxiv.org/abs/2609.22076v1
• Date: Fri, 18 Sep 2026 17:58:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.24402
• Title: APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport
• Title（参考訳）: APort Vault: オープンエージェントパスポートによるAIエージェント支払い認証のベンチマーク
• Abstract要約: APort Vaultは、ツールを使用するAIエージェントの支払い認可のためのベンチマークである。 公開イベント中、人間によるライブ支払いエージェントに対する4,371件の攻撃をリプレイする。 評価毎に5つの異なる事象を報告します。なぜなら、それらを崩壊させるのは、エージェントベンチマークが、レビューを生き残らない数を生成する方法です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: APort Vault is a benchmark for payment authorization in tool-using AI agents. It replays 4,371 attacks written by humans against a live payment agent during a public capture-the-flag event, across 14 models from 8 labs, five policy configurations and two replay tracks, with and without a deterministic pre-action check implementing the Open Agent Passport (OAP) specification. 225,964 evaluations completed. We report five distinct events per evaluation, because collapsing them is how an agent benchmark produces a number that does not survive review. Requests are common and their rate differs far more across configurations than across models, though each attack exists at exactly one configuration so policy and attack cohort vary together: 10.9% of model-alone evaluations at Level 1, 3.0% at Level 2, 0.1% at Level 3, 79.4% at Level 4. On the 1,293 Level 4 prompts, each evaluated on every model, request rates run from 71.2% to 84.3%, and 809 prompts (62.6%) elicited a request from all fourteen models, each ending in a successful payment to the level's allowlisted recipient. The authorization boundary is where the conditions diverge. At Levels 2 to 4, transfers to recipients the passport did not permit number 140 of 76,842 with the model alone and 0 of 69,297 behind the layer, and 105 against 0 on 68,970 matched model, prompt and track triples. The zero spans 790 source sessions, giving a per-session upper bound of 0.38%. It was not obtained by refusing payments: 25,370 payments executed behind the layer, while the policy denied 187 of the 25,640 transfer calls it evaluated, 148 of them for a forbidden recipient. We release the 225,964 evaluations, the level passports, the scoring code and the analysis script at huggingface.co/datasets/aporthq/vault-benchmark-v1 .
• Abstract（参考訳）: APort Vaultは、ツールを使用するAIエージェントの支払い認可のためのベンチマークである。 8つのラボから14のモデル、5つのポリシー構成、2つのリプレイトラック、そしてOpen Agent Passport (OAP)仕様を実装した決定論的事前アクションチェックなしで、人間によるライブ支払いエージェントに対する4,371の攻撃をリプレイする。 225,964機が完成。 評価毎に5つの異なる事象を報告します。なぜなら、それらを崩壊させるのは、エージェントベンチマークが、レビューを生き残らない数を生成する方法です。 要求は一般的なものであり、そのレートはモデル間よりもはるかに異なるが、それぞれの攻撃は正確に1つの構成で存在し、ポリシーとアタックコホートは異なる:レベル1、3.0%、レベル2、0%、レベル3、79.4%、レベル4でモデルアローンの評価は10.9%である。 1,293のレベル4プロンプトでは、各モデルで評価され、リクエストレートは71.2%から84.3%、809のプロンプト(62.6%)が14モデルすべてから要求を受け取り、それぞれがレベルに登録された受取人に支払いに成功した。 認証境界は条件が分岐する場所である。 レベル2からレベル4では、パスポートはモデル単独で76,842の140、層後で69,297の0、105対0の68,970のマッチモデル、プロンプトとトラックトリプルを許可しなかった。 ゼロは790のソースセッションにまたがっており、セッション当たりの上限は0.38%である。 25,370件の支払いがレイヤーの後方で実行されたのに対して、政策は評価された25,640件の転送コールのうち187件を否定し、そのうち148件は禁じられた受取人であった。 225,964の評価、レベルパスポート、スコア付けコード、分析スクリプトをhanggingface.co/datasets/aporthq/vault-benchmark-v1でリリースします。

関連論文リスト

• SkillAtlas: An Attack Trace Library for Agent Skills [67.18648151130607]
  我々は、プライベートエージェントスキルセキュリティレポートバンドルをレビュー、修正、検索可能なパブリックケースに変換する、ホストされた攻撃トレースライブラリであるSkillAtlasを紹介する。 図書館には3,014のケース、6,589のトレース、151,131のステップ、233の影響を受けたスキル、8のリスクカテゴリが含まれている。
  論文  参考訳（メタデータ） (2026-09-11T16:44:39Z)
• If Agents Were Angels, No Governance Would Be Necessary: Out-of-Band Policy Enforcement at a Trusted Tool Boundary [0.07499722271664146]
  Out-of-Band Policy Enforcement (OBPE)は、エージェント推論以外の信頼できる境界である。 OBPEは型付き操作とリソースを許可し、バックエンド呼び出しの前にクエリを絞り込み、それからレコードとフィールドをフィルタリングし、レスポンスの値にマスクを付ける。
  論文  参考訳（メタデータ） (2026-08-27T19:35:48Z)
• K-Bench: measuring model performance on real scientific agent requests [0.0]
  K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
  論文  参考訳（メタデータ） (2026-08-21T20:06:08Z)
• The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom [0.0]
  LeModelは、予測損失と1つの反崩壊正規化器を備えた潜在世界モデルを訓練する。 約25ドル(約2万5000円)のレンタルコンピュータ上で、独立した再実装によってこれを再現し、1台のラップトップCPU上で全ての評価を行う。
  論文  参考訳（メタデータ） (2026-08-10T19:00:51Z)
• Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
  Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。 Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。 500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
  論文  参考訳（メタデータ） (2026-08-01T18:25:00Z)
• aiAuthZ: Off-Host, Identity-Bound Authorization for AI Agents [0.0]
  エージェントのホストから安全判断を移動させる認証ゲートウェイであるaiAuthZを紹介します。 各決定はSHA-256ハッシュチェーン監査ログに参加し、受信メッセージはHMAC認証QRレシートを生成する。 残りの攻撃成功率は15モデルすべてで0%となり、0.03ミリ秒以上の決定遅延は発生しない。
  論文  参考訳（メタデータ） (2026-07-06T18:00:49Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts [0.0]
  厳格な拒絶率は、同じプロンプトで0.1%から94.6%である。 18のフロンティアモデルのうち9つは、バイナリーリフェールメトリクスが検出できないデュアルユース層で、ヘッジ・ブット・ヘルプ部分コンプライアンスパターンを示す。
  論文  参考訳（メタデータ） (2026-05-20T09:53:31Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。