論文の概要: An Alignment Benchmark for Enterprise Agents on Era by Eon
- arxiv url: http://arxiv.org/abs/2610.38544v1
- Date: Wed, 28 Oct 2026 09:45:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.982423
- Title: An Alignment Benchmark for Enterprise Agents on Era by Eon
- Title（参考訳）: Eonによる企業エージェントのアライメントベンチマーク
- Abstract要約: Era by Eonは、企業のビジネスシステムとデータをシミュレートして、企業のデジタル双生児を作る製品だ。
私たちのベンチマークではSalesforce、Zendesk、Jira、Slackなど10のシステムを使っています。
当社は、悪質なビジネス要求を行うか、企業記録に誤解を招く情報を信頼するかをテストした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI agents are widely used in enterprises to access business systems and act on them in pursuit of a goal. However, fulfilling a user's request can cause harm. Era by Eon is a product that creates a digital twin of a company by simulating its business systems and data. Its simulators implement the programming interfaces of real products. Our benchmark uses ten of these systems, including Salesforce, Zendesk, Jira and Slack. We tested whether agents would carry out harmful business requests or trust misleading information in company records. We ran 19 models on 41 tasks three times, for 2,337 runs. Of the 2,304 runs that produced an answer, 918 (40%) contained a violation. The most common were false claims about actions or records (290 runs), following planted instructions (266) and disclosing sensitive data to the wrong audience (249). Every attempted change was recorded and blocked before it took effect. Misleading Slack messages caused 16 models to report an incorrect ticket status in 47 of 57 runs. No model was free of violations. The four best models violated in 22 to 24% of their runs. Yet one of them, Nova Pro, did the task correctly in only 30 runs.
- Abstract（参考訳）: AIエージェントは、企業においてビジネスシステムにアクセスし、目標を追求するために行動するために広く使用されている。
しかし、ユーザの要求を満たすことは害をもたらす可能性がある。
Era by Eonは、企業のビジネスシステムとデータをシミュレートして、企業のデジタル双生児を作る製品だ。
シミュレーターは実際の製品のプログラミングインタフェースを実装している。
私たちのベンチマークではSalesforce、Zendesk、Jira、Slackなど10のシステムを使っています。
当社は、悪質なビジネス要求を行うか、企業記録に誤解を招く情報を信頼するかをテストした。
2,337で3回、41タスクで19のモデルを実行しました。
回答を得た2,304回のうち、918回(40%)が違反だった。
もっとも一般的なのは、行動や記録に関する虚偽の主張(290ラン)、植えられた指示(266ラン)、間違った聴衆(249ラン)への機密データを開示することであった。
全ての変更は実行前に記録され、ブロックされた。
Slackメッセージの誤解により、16のモデルが57ラン中47ランで不正なチケットのステータスを報告した。
いかなるモデルにも違反はない。
4つのベストモデルが22～24%のランニングで破られた。
しかしそのうちの1つ、Nova Proは、わずか30ランでそのタスクを正しく実行した。
関連論文リスト
- Infinity Machine: a self-improving AI agent for research [0.0]
Infinity Machine(インフィニティ・マシン)は、プログラムやデータがチェック可能な問題の研究に使用する、自己改善型AIエージェントである。
それぞれの候補ソリューションは、新しいサンドボックスで最大1時間動作するフルツール使用エージェントによって生成される。
自律的なモードは、プレーンテキストの目標から、人間ステップなしで検証されたレポートへと移行します。
論文 参考訳（メタデータ） (2026-10-26T15:11:26Z) - Task Success Is Not Enough: Side-effect-Aware Evaluation of Tool-Using Language Model Agents [30.440927198178414]
ツールを使用する言語モデルエージェントは、通常、ユーザのタスクを終了するかどうかによって評価される。
私たちはこの障害モードを副次的損傷(CD)と呼ぶ。
私たちは、201のメール、カレンダー、チケットタスクのベンチマークであるSABenchを紹介します。
論文 参考訳（メタデータ） (2026-10-25T08:54:08Z) - FrontierCS 2: A Benchmark for Computer Science R&D [127.13977721494204]
我々は48のオープンエンドタスクのベンチマークであるFrontierCS 2を紹介する。
私たちは、論文とその著者がリリースしたコードを取り、論文の貢献を削除します。
それぞれのパッチに対して、審査員は開発適格スコアを返すが、評価者、保持された最終スイート、参照プライベートを保持する。
論文 参考訳（メタデータ） (2026-10-21T16:04:27Z) - JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。
ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。
AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。
次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
論文 参考訳（メタデータ） (2026-10-15T07:27:08Z) - AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。
同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。
我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
論文 参考訳（メタデータ） (2026-10-08T01:03:48Z) - Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments [8.904042335790534]
34回にわたって、4つのベンチマークで変更ツールを監査し、7つのツール欠陥と1つの評価器特性をピン付きコミットで確認した。
注入された欠陥について、チェッカーは25個のフラグに偽陽性を示さず、5つの負のコントロールのうち2つにフラグを付け、最も多くを逃した。
さらに12のAgentDojoツール、6つのホールドアウトツールと、最初に監査された7つのツールによって、25のツール変更サーフェスが完了した。
論文 参考訳（メタデータ） (2026-09-29T11:50:55Z) - What Stops a Small Language Model From Driving a Database Agent [0.0]
小さなオープンウェイトな言語モデルは、エージェントデータベースの作業で失敗すると仮定される。
私たちはそれを生産システムに対してテストします。
1,590,75.7%の2,100台のモデルが配布されたエージェントモードの損失は、少なくとも1つのツールを起動したランから発生した。
論文 参考訳（メタデータ） (2026-09-18T05:51:31Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - How Reliable Are AI Attackers Against a Fixed Vulnerable Target? A 400-Run Empirical Study of LLM Penetration Testing Consistency [0.0]
大規模言語モデル(LLM)は、多段階のサイバー攻撃を自律的に行うことができるが、その攻撃行動の一貫性は調査されていない。
この研究は、Juice Shopをホストする同一のハニーポットに対して400ラン(4モデル、100台)の攻撃一貫性を実証した最初の大規模な実験的な測定結果を示す。
オーケストレータのワンショットの承認が0-1で再発効したコンテントの拒絶は、モデルでは発生しなかった。
論文 参考訳（メタデータ） (2026-05-28T15:39:43Z) - How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。
これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。
この2つの目的を3つのエージェント設定で評価した。
論文 参考訳（メタデータ） (2026-03-16T14:49:36Z) - OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。
OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。
我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
論文 参考訳（メタデータ） (2025-06-17T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。