論文の概要: Testing Agentic Service Systems: An Agentic Living Lab Methodology Across the Physical-Digital Continuum
- arxiv url: http://arxiv.org/abs/2610.35978v1
- Date: Mon, 26 Oct 2026 09:43:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.185554
- Title: Testing Agentic Service Systems: An Agentic Living Lab Methodology Across the Physical-Digital Continuum
- Title（参考訳）: エージェントサービスシステムをテストする:物理デジタル連続体全体にわたるエージェントリビングラボ方法論
- Abstract要約: タスクの成功は、プリンシパルのために行動し、永続的なビジネス状態を変更し、物理的プロセスに影響を与えるテストエージェントにとって不十分である。
我々は,テストユニットとは何か,誰が参加するのか,テスト実行の現実は何か,という3つの質問を中心に組織されたエージェントリビングラボの方法論を提案する。
この方法は、テスト対象のエージェントを環境アクターから分離し、実際の人間、人間の痕跡、ルール代理、およびエージェントベースのプロキシを区別する。
- 参考スコア（独自算出の注目度）: 9.373790954499155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task success is insufficient for testing agents that act for principals, change persistent business state, and affect physical processes: a useful result may be unauthorized, leave obligations unresolved, or depend on the execution substrate. We propose an Agentic Living Lab methodology organized around three questions: what is the test unit, who and what participate, and under what reality is the test executed? The unit is a service episode containing delegated roles, obligations, world state, and evidence. The method separates agents under test from environment actors and distinguishes real humans, human traces, rule surrogates, and agent-based proxies. Realization Profiles, capability-declared Reality Substrate bindings, Grounding Profiles, and Semantic Delta disclosures make changes across software, enterprise systems, simulation, and physical settings explicit. A four-plane reference architecture separates experiment control, participants, world realization, and evidence evaluation, with cross-cutting authority and governance controls. Runtime semantics distinguish intent, normative admission, and factual reconciliation. Real stakeholder grounding, participant calibration or validation, and governed feedback are required for the Living Lab claim, but not synchronous human participation in every run. Released JSON Schemas, deterministic fixtures, and a limited reference runner make selected rules machine-checkable; they are not a complete platform or empirical validation. Constructed travel and industrial designs illustrate authorization and fulfillment failures, proxy sensitivity, and substrate changes. Agent quality, proxy validity, and cross-substrate effect stability remain empirical questions.
- Abstract（参考訳）: タスクの成功は、プリンシパルのために行動し、永続的なビジネス状態を変更し、物理的プロセスに影響を与えるテストエージェントにとって不十分である。
我々は,テストユニットとは何か,誰が参加するのか,テスト実行の現実は何か,という3つの質問を中心に組織されたエージェントリビングラボの方法論を提案する。
このユニットは、委任された役割、義務、世界国家、証拠を含むサービスエピソードである。
この方法は、テスト対象のエージェントを環境アクターから分離し、実際の人間、人間の痕跡、ルール代理、およびエージェントベースのプロキシを区別する。
実現プロファイル、機能宣言された現実的基質バインディング、グラウンディングプロファイル、セマンティックデルタ開示は、ソフトウェア、エンタープライズシステム、シミュレーション、物理的な設定を明示的に変更する。
4面の参照アーキテクチャは、実験制御、参加者、世界実現、エビデンス評価を横断的な権限とガバナンス制御で分離する。
実行時意味論は意図、規範的受け入れ、事実的和解を区別する。
リビングラボの主張には、実際の利害関係者の根拠、受け入れキャリブレーションや検証、統制されたフィードバックが要求されるが、すべての実行において同期的な人間による参加は必要ではない。
リリースされているJSONスキーマ、決定論的フィクスチャ、限定参照ランナーは、選択されたルールをマシンチェック可能にする。
建設された旅行と工業デザインは、承認と達成の失敗、プロキシの感度、基板の変更を描いている。
エージェントの品質、プロキシの妥当性、基板間効果の安定性は、実証的な疑問のままである。
関連論文リスト
- EmbodiedLab: Benchmarking Embodied Agents That Act to Know [60.785006927377005]
身体的エージェントは、どのように、いつ周囲と対話するかを自分で決めることで、現実世界の目標を達成することが期待されている。
EmbodiedLabは、ロボットが知る必要があるベンチマークです。
開発者のコーディングエージェントにおける6つのフロンティアモデルについて、ネイティブな観察と制御を行い、知覚とモーションプランニングを加えて評価した。
論文 参考訳（メタデータ） (2026-10-26T13:06:33Z) - Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。
結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。
ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
論文 参考訳（メタデータ） (2026-10-01T12:55:07Z) - Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills [14.44743150931186]
テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。
意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。
これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
論文 参考訳（メタデータ） (2026-09-10T06:20:22Z) - From Language Models to World-Acting Systems: Progress and Limits of Agentic AI across Digital, Social, Virtual, and Physical Environments [0.0]
このレビューは2026年8月31日までに利用可能な主要な研究と公式な技術仕様を合成する。
我々は、モデル、ハーネス、環境を分離しながら、委任された権限、時間的持続性、環境結合に沿った証拠を整理する。
このフレーミングは、モデルハーネスの評価、能力に基づくパーミッション、耐久性のある状態、クロスエージェントのアカウンタビリティ、ステージ化された物理的なバリデーションに関する研究課題をもたらす。
論文 参考訳（メタデータ） (2026-09-04T08:52:28Z) - Software Engineering in the Agent Era From Trustworthy Change to Human Agent Software Organizations [4.180009544319738]
ソフトウェアエージェントはデジタル実行を弾力的にします。
問題フレーミング、セマンティックコミットメント、検証、統合、注意、残余リスクの受け入れは、人間の認知によって制限されている。
論文 参考訳（メタデータ） (2026-09-04T02:05:35Z) - DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards [73.12811119273206]
我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。
エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。
システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
論文 参考訳（メタデータ） (2026-08-24T17:29:16Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
論文 参考訳（メタデータ） (2026-06-14T05:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。