論文の概要: Synthetic Scenario Generation for Evaluation of Industry 4.0 Agents
- arxiv url: http://arxiv.org/abs/2607.22563v1
- Date: Fri, 29 May 2026 16:42:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.965161
- Title: Synthetic Scenario Generation for Evaluation of Industry 4.0 Agents
- Title（参考訳）: 産業用4.0エージェント評価のための合成シナリオ生成
- Abstract要約: 産業エージェントベンチマークは、テレメトリ、障害モード、メンテナンス記録、ドメイン標準を統合する現実的な評価シナリオを必要とする。
AssetOpsBench を Smart Grid Transformer のアセットクラスと IEC で構築した 4 つの診断ツールで拡張し,健康指標の予測, 溶解ガス分析, 巻線温度評価, 負荷評価を行った。
合成産業エージェントシナリオ生成のためのパイプラインであるScenarioAgentGeneratorについても紹介する。
- 参考スコア（独自算出の注目度）: 3.977651845627548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Industrial agent benchmarks require realistic evaluation scenarios that integrate telemetry, failure modes, maintenance records, and domain standards. However, existing benchmarks such as AssetOpsBench rely on manually authored scenarios and cover a limited set of asset classes. We extend AssetOpsBench with a Smart Grid Transformer asset class and four IEC-grounded diagnostic tools for health-index prediction, dissolved-gas analysis, winding-temperature assessment, and load-profile assessment. We further introduce ScenarioGeneratorAgent, a pipeline for synthetic industrial-agent scenario generation. The pipeline constructs evidence-grounded asset profiles, allocates coverage-aware scenario budgets across operational domains, and generates candidates through a hybrid validation-and-repair loop that enforces schema validity, tool reachability, physical plausibility, standards alignment, and deduplication. To improve scalability, we apply two-level caching, parallel focus-group generation, thread-pool offloading, batched LLM calls, and early rejection filtering. On Smart Grid Transformer scenario generation, these optimizations reduce end-to-end runtime by $8\times$ for 50 scenarios while preserving quality, achieving a composite quality score of $74.2 \pm 1.9$ compared with $73.8 \pm 3.0$ for the unoptimized baseline. These results show that standards-grounded synthetic scenario generation can efficiently expand industrial-agent benchmarks without sacrificing scenario quality.
- Abstract（参考訳）: 産業エージェントベンチマークは、テレメトリ、障害モード、メンテナンス記録、ドメイン標準を統合する現実的な評価シナリオを必要とする。
しかし、AssetOpsBenchのような既存のベンチマークは、手動で記述されたシナリオに依存し、限られたアセットクラスをカバーする。
AssetOpsBench を Smart Grid Transformer のアセットクラスと IEC で構築した 4 つの診断ツールで拡張し,健康指標の予測, 溶解ガス分析, 巻線温度評価, 負荷評価を行った。
合成産業エージェントシナリオ生成のためのパイプラインであるScenarioGeneratorAgentについても紹介する。
パイプラインはエビデンスベースのアセットプロファイルを構築し、運用ドメイン全体でカバレッジを意識したシナリオ予算を割り当て、スキーマの妥当性、ツールの到達性、物理的妥当性、標準のアライメント、重複を強制するハイブリッドなバリデーション・アンド・リペアループを通じて候補を生成する。
スケーラビリティを向上させるために,2レベルキャッシング,並列フォーカスグループ生成,スレッドプールオフロード,バッチLDM呼び出し,早期拒絶フィルタを適用した。
Smart Grid Transformerのシナリオ生成では、これらの最適化により、最適化されていないベースラインに対して73.8 \pm 3.0$に対して74.2 \pm 1.9$の複合品質スコアを達成し、品質を維持しながら、50のシナリオでエンド・ツー・エンドのランタイムを8\times$に削減する。
これらの結果から, 標準化された合成シナリオ生成は, シナリオ品質を犠牲にすることなく, 産業エージェントのベンチマークを効率的に拡張できることが示唆された。
関連論文リスト
- Task-to-Model Optimization for Enterprise LLM Coding Assistants: A Data-Driven Framework for Cost-Optimal Routing [5.00725149774706]
エンタープライズAIコーディングアシスタントは、相当な推論費用を発生させ、トークンコストの最小化は、再試行、エスカレーション、開発者待ち時間を含むと、エンドツーエンドコストの削減に失敗することが多い。
実運用におけるモデル選択を最適化するためのデータ駆動手法であるタスク・ツー・モデル最適化(T2MO)を提案する。
私たちは、各開発者セッションを、発見、分類、難易度を評価、プロダクション風のハーネスでベンチマークし、品質とレイテンシの制約の中でそれを完了できる最も安価なモデルにルーティングできるタスクとして扱います。
論文 参考訳（メタデータ） (2026-08-09T06:57:53Z) - A Unified Framework for the Evaluation of LLM Agentic Capabilities [36.43241368835721]
LLMエージェント能力の公平な評価のための統一的なフレームワークを提案する。
統合された構成システムによって駆動されるこのフレームワークは、様々なベンチマークを標準化された命令-ツール-環境フォーマットに統合する。
我々は15モデルで400Kロールアウトと5Bトークンに対して大規模な実証分析を行う。
論文 参考訳（メタデータ） (2026-05-27T03:20:45Z) - LLM Benchmark Datasets Should Be Contamination-Resistant [27.38195431514163]
ベンチマークデータセットは$textit-resistant$、つまり$textitunlearnable$であるべきですが、$textitinference$をサポートします。
本稿では, ベンチマークデータセット汚染の広範囲性を強調し, 汚染耐性データセットの特性について概説する。
論文 参考訳（メタデータ） (2026-05-19T15:33:16Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Frontier-Eng: Benchmarking Self-Evolving Agents on Real-World Engineering Tasks with Generative Optimization [16.92885982726064]
生成最適化のための人間検証ベンチマークであるFrontier-Engを紹介する。
以前のスイートとは異なり、Frontier-Engタスクは工業用シミュレータと検証器に基礎を置いている。
代表的な検索フレームワークを用いて,8つのフロンティア言語モデルを評価する。
論文 参考訳（メタデータ） (2026-04-14T05:02:06Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning [82.89535601592739]
マルチレベル検証を用いた自己進化型合成により,信頼性の高い基本ツール利用軌跡を生成する2段階パイプラインを提案する。
これらの拡張は、トラクタツール、間接的または曖昧なユーザクエリ、ノイズ、マルチフォーマット、あるいは誤ったツール出力を導入します。
本設計では,標準事例に対する参照マッチングによる報酬の自動計算と,エラー検出などの特別な動作に対する軽量な判断支援検証を実現する。
論文 参考訳（メタデータ） (2026-04-10T18:38:52Z) - PHMForge: A Scenario-Driven Agentic Benchmark for Industrial Asset Lifecycle Maintenance [2.532228247215641]
PHMForge は Prognostics and Health Management (PHM) タスクの大規模言語モデル (LLM) エージェントを評価するために特別に設計されたベンチマークである。
当社のベンチマークでは、7つの産業資産クラス(ファンエンジン、ベアリング、電動モーター、ギアボックス、エアエンジン)にまたがる75のシナリオを5つのコアタスクカテゴリでカバーしています。
我々は,2つのMPPサーバに65の専門ツールを構築し,タスク・コメンシュレート・メトリクスを用いた実行ベースの評価器を実装した。
論文 参考訳（メタデータ） (2026-04-02T02:09:27Z) - Cloud-OpsBench: A Reproducible Benchmark for Agentic Root Cause Analysis in Cloud Systems [51.2882705779387]
Cloud-OpsBenchは、State Snapshot Paradigmを使用して、クラウドの決定論的デジタルツインを構築する大規模なベンチマークである。
フルスタックにまたがる40の根本原因タイプに452の障害ケースがある。
論文 参考訳（メタデータ） (2026-02-28T05:04:42Z) - ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。
そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。
また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
論文 参考訳（メタデータ） (2026-02-05T05:45:16Z) - AutoForge: Automated Environment Synthesis for Agentic Reinforcement Learning [71.4322853508083]
シミュレーション環境における強化学習の実施は、言語ベースのエージェントを強化するためのコスト効率が高く、スケーラブルな方法を提供する。
これまでの作業は、半自動化された環境合成や、十分な困難を欠いたタスクに限られており、幅や深さがほとんどない。
本稿では,高難易度かつ容易に検証可能なタスクに関連付けられたシミュレーション環境の,自動化されたスケーラブルな合成のための統一パイプラインを提案する。
論文 参考訳（メタデータ） (2025-12-28T09:43:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。