論文の概要: What Could the Agent See at 19:05? Generating Temporal Enterprise Scenarios from Real Research and Replaying Them to Evaluate Agents
- arxiv url: http://arxiv.org/abs/2608.01042v1
- Date: Sun, 02 Aug 2026 06:56:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.070835
- Title: What Could the Agent See at 19:05? Generating Temporal Enterprise Scenarios from Real Research and Replaying Them to Evaluate Agents
- Title（参考訳）: エージェントは19:05で何を見るか? : リアルタイム研究から時間的企業シナリオを創出し, エージェント評価のテーマを再現する
- Abstract要約: エンタープライズAIエージェントは、データを継続的に変更する多くのアプリにわたって動作します。
我々のシステムは2つのギャップを同時に埋める: 現実的な、ペルソナ駆動で、時間的に進化するエンタープライズ世界を現実の研究から生み出し、プラグ可能なエージェントを評価するために、任意の瞬間にその世界を再生する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enterprise AI agents act across many apps whose data changes continuously, so an answer is correct only relative to what data existed and who could see it at the moment it was asked. Offline evaluation today grades against a single static snapshot, effectively the end of the episode. So, it can only evaluate one situation, the final one, even though every earlier moment of the episode is a different situation that invites its own realistic questions with its own correct answers. Recreating each of those moments as a separate snapshot would mean re-provisioning a whole tenant per instant, which is prohibitively costly; and even a single snapshot leaks future state hidden inside records and cannot represent the multi-app, time-ordered way real work happens. Our system closes two gaps at once: it generates a realistic, persona-driven, temporally-evolving enterprise world from real research, and replays that world at any chosen moment to evaluate any pluggable agent. A schema-inferred temporal description drives a deterministic-plus-LLM rebuild of each record's past state; because the queryable moments are finite, all rebuilds are precomputed into a compact difference cache, making evaluation a fast, reproducible lookup with no model in the path. We describe the design, an architecture spanning both flows, and early experience evaluating enterprise agents.
- Abstract（参考訳）: エンタープライズAIエージェントは、データを継続的に変更する多くのアプリにわたって動作します。
現在、オフライン評価は、エピソードの終盤である単一の静的スナップショットに対してグレードされている。
そのため、エピソードの早い段階では、自分自身の現実的な質問を正しい回答で招待する別の状況であっても、最後の1つの状況しか評価できない。
そして、単一のスナップショットでさえ、レコード内に隠された将来の状態をリークし、マルチアプリケーションで時間順に順序付けされた実際の作業の発生を表現できない。
我々のシステムは2つのギャップを同時に埋める: 現実的な、ペルソナ駆動で、時間的に進化するエンタープライズ世界を現実の研究から生み出し、プラグ可能なエージェントを評価するために、任意の瞬間にその世界を再生する。
スキーマ推論による時間記述は、各レコードの過去の状態の決定論的+LLM再構成を駆動する。クエリ可能なモーメントは有限であるため、すべてのリビルドはコンパクトな差分キャッシュにプリ計算され、パスにモデルがない高速で再現可能なルックアップを実現する。
設計、両方のフローにまたがるアーキテクチャ、エンタープライズエージェントを評価する初期の経験について説明する。
関連論文リスト
- MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。
生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
論文 参考訳（メタデータ） (2026-08-31T16:05:39Z) - Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。
EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。
既存のメモリを単純に保存することは、しばしば不十分である。
連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
論文 参考訳（メタデータ） (2026-07-23T17:50:45Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - ARGOS: Who, Where, and When in Agentic Multi-Camera Person Search [49.61286310968402]
我々は,対話型推論問題として,マルチカメラの人物探索を再構成する最初のベンチマークとフレームワークであるARGOSを紹介する。
ARGOSエージェントはあいまいな目撃声明を受け取り、何を尋ねるか、いつ空間的または時間的ツールを呼び出すか、不明瞭な応答をどう解釈するかを判断しなければならない。
このベンチマークは、意味的知覚(Who)、空間的推論(Where)、時間的推論(When)の3つのプログレッシブトラックにおいて、14の現実世界シナリオにまたがる2,691のタスクからなる。
論文 参考訳（メタデータ） (2026-04-14T14:06:19Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Benchmarking Real-Time Question Answering via Executable Code Workflows [15.866566641224715]
RT-QAは動的評価フレームワークで、実行可能コードを利用して評価時に最新の回答を取得する。
我々は,WebクローリングやDOMベースの回答抽出のためのコードの自動生成を行うエージェント駆動パイプラインを構築した。
RT-QAは12のドメインにまたがって320の中国語の質問を3つの困難レベルに分類している。
論文 参考訳（メタデータ） (2026-03-16T16:20:29Z) - OrgForge: A Multi-Agent Simulation Framework for Verifiable Synthetic Corporate Corpora [0.0]
本稿では,厳密な物理認識境界を強制するオープンソースのマルチエージェントシミュレーションフレームワークOrgForgeを紹介する。
アクターローカルクロックは、すべてのアーティファクトタイプにわたって因果タイムスタンプの正しさを強制する。
N日間のシミュレーションを実行すると、OrgForgeはインターリーブされたSlackスレッド、チケット、Confluenceページ、Gitのプルリクエスト、Eメールを生成する。
論文 参考訳（メタデータ） (2026-03-16T09:02:24Z) - Evaluating the Search Agent in a Parallel World [28.24678964635285]
並列世界における検索エージェント評価フレームワークであるMind-ParaWorldを紹介する。
パラワールド・ロー・モデル(ParaWorld Law Model)は、不可分なアトミック・ファクトの集合と、各質問に対する独特な基礎構造を構築する。
評価中、現実世界の結果を取得する代わりに、エージェントはパラワールドモデルと対話する。
MPW-Benchは19のドメインと1,608のインスタンスにまたがる対話型ベンチマークです。
論文 参考訳（メタデータ） (2026-03-05T02:56:42Z) - Towards Anytime Retrieval: A Benchmark for Anytime Person Re-Identification [85.78039373517021]
Anytime Person Re-identification (AT-ReID) は、時間変動に基づく複数のシナリオにおいて効果的な検索を実現することを目的としている。
最初の大規模なデータセットであるAT-USTCは、複数の服を着ている人の403万枚の画像を含む。
シナリオ固有の特徴学習のためのマルチシナリオReIDフレームワークを含むUni-ATという統一モデルを提案する。
論文 参考訳（メタデータ） (2025-09-20T11:20:22Z) - Stack Trace Deduplication: Faster, More Accurately, and in More Realistic Scenarios [42.75968139336785]
大規模なソフトウェアシステムでは、エラーが発生した時に人による記述が書かれた完全なバグレポートは存在しないことが多い。
この場合、開発者はスタックトレース、すなわち一連の関数呼び出しに頼り、エラーを引き起こした。
近年の研究では、これに対する強力な深層学習に基づくアプローチが提案されているが、実際のカテゴリーから独立して評価され、比較されている。
論文 参考訳（メタデータ） (2024-12-19T12:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。