論文の概要: Quality Metrics for LLM-Generated Asset Administration Shells: A Perturbation-Based Evaluation Approach
- arxiv url: http://arxiv.org/abs/2609.07290v1
- Date: Mon, 07 Sep 2026 10:00:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.405461
- Title: Quality Metrics for LLM-Generated Asset Administration Shells: A Perturbation-Based Evaluation Approach
- Title（参考訳）: LLM生成アセット管理シェルの品質指標:摂動に基づく評価手法
- Abstract要約: 摂動に基づく評価フレームワークを用いてAI生成アセット管理シェル(AAS)の品質指標を評価する。
その結果,プロパティ名の正確なマッチングと類似度に基づくソフトマッチングに基づくメトリクスが,品質劣化の最も信頼性の高い指標であることが示唆された。
これらの知見は、適切なメトリクスの選択、LLMベースのパイプラインのチューニング、AI生成されたAASを産業アプリケーションに統合することを支援する。
- 参考スコア（独自算出の注目度）: 0.5301721673195313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid digital transformation of manufacturing, often referred to as Industry 4.0, relies on seamless interoperability between physical and software assets. A central enabler is the Asset Administration Shell (AAS), a standardized digital representation of such assets. Recent advances in large language models (LLMs) enable the generation of AAS submodels from unstructured sources such as product datasheets but raise challenges for quality assurance. In particular, unexpected errors, the lack of ground truth references, and the absence of standardized quality metrics hinder reliable adoption. In this work, we evaluate quality metrics for AI-generated AAS using a perturbation-based evaluation framework. By systematically degrading AAS generation along multiple dimensions, we assess how well different metrics reflect quality changes. Based on a dataset of 200 products from multiple manufacturers, we generate 6,400 AAS instances using GPT-4o-mini, Qwen3, and DeepSeek-R1. Our results show that metrics based on exact matching of property names and similarity-based soft matching of property values, in particular value-based recall and name-based F1 score, provide the most reliable indicators of quality degradation. Furthermore, we quantify the impact of different perturbation types and analyze differences across model families and product segments. These findings support the selection of suitable metrics, the tuning of LLM-based pipelines, and the integration of AI-generated AAS into industrial applications.
- Abstract（参考訳）: 製造業の急速なデジタルトランスフォーメーションは、しばしばIndustrial 4.0と呼ばれ、物理的およびソフトウェア資産間のシームレスな相互運用性に依存している。
アセット管理シェル(Asset Administration Shell, AAS)は、これらの資産を標準化したデジタル表現である。
大規模言語モデル(LLM)の最近の進歩は、製品データシートのような構造化されていないソースからAASサブモデルを生成することができるが、品質保証の課題を提起する。
特に、予期せぬエラー、根拠となる真実の参照の欠如、標準化された品質指標の欠如は、信頼できる採用を妨げる。
本研究では、摂動に基づく評価フレームワークを用いてAI生成AASの品質指標を評価する。
複数の次元に沿ってAAS生成を体系的に分解することにより、異なるメトリクスが品質変化を適切に反映しているかを評価する。
複数のメーカーによる200の製品データセットに基づいて、GPT-4o-mini、Qwen3、DeepSeek-R1を使用して、6,400のAASインスタンスを生成します。
この結果から,特に値に基づくリコールと名前に基づくF1スコアなどのプロパティ値の正確なマッチングと類似性に基づくソフトマッチングに基づくメトリクスが,品質劣化の最も信頼性の高い指標であることがわかった。
さらに、異なる摂動型の影響を定量化し、モデルファミリーと製品セグメント間の差異を分析する。
これらの知見は、適切なメトリクスの選択、LLMベースのパイプラインのチューニング、産業アプリケーションへのAI生成AASの統合をサポートする。
関連論文リスト
- DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。
我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文 参考訳（メタデータ） (2026-06-24T22:40:46Z) - Latent Performance Profiling of Large Language Models [47.009623327601226]
隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。
静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。
類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
論文 参考訳（メタデータ） (2026-05-28T14:41:26Z) - SAGE: Scalable Automated Robustness Augmentation for LLM Knowledge Evaluation [65.49183294872877]
SAGEは,微調整された小型モデルを用いた知識評価ベンチマークのスケーラブルな堅牢性向上のためのフレームワークである。
HellaSwagの実験によると、SAGEは人間に注釈を付けたHellaSwag-Proに匹敵する、大規模な堅牢性向上ベンチマークを、かなり低コストで構築している。
論文 参考訳（メタデータ） (2026-05-12T12:09:05Z) - Quality-Driven Agentic Reasoning for LLM-Assisted Software Design: Questions-of-Thoughts (QoT) as a Time-Series Self-QA Chain [0.0]
品質駆動型推論時間スキャフォールドであるQoTを導入し,ユーザ目標をエンジニアリングステップの順序付きシーケンスに変換する。
QoTは、API設計、データ通信、ファイルシステムの3つの代表的なバックエンドエンジニアリング領域にまたがって評価する。
論文 参考訳（メタデータ） (2026-03-10T23:49:09Z) - The LLM Data Auditor: A Metric-oriented Survey on Quality and Trustworthiness in Evaluating Synthetic Data [25.926467401802046]
大規模言語モデル(LLM)は、様々なモダリティにまたがるデータを生成する強力なツールとして登場した。
本稿では,2次元から合成データを評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-25T06:40:25Z) - FailureSensorIQ: A Multi-Choice QA Dataset for Understanding Sensor Relationships and Failure Modes [7.788259584005182]
本稿では,MCQA(Multi-Choice Question-Answering)ベンチマークシステムであるFailureSensorIQを紹介する。
従来のQAベンチマークとは異なり、本システムは障害モード、センサデータ、および各種産業資産間の関連性を通しての推論の複数の側面に焦点を当てている。
論文 参考訳（メタデータ） (2025-06-03T18:05:10Z) - OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。
我々のベンチマークは多次元評価フレームワークによって特徴づけられる。
実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
論文 参考訳（メタデータ） (2024-12-17T15:38:42Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - Quality-Based Conditional Processing in Multi-Biometrics: Application to
Sensor Interoperability [63.05238390013457]
2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。
我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。
その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-24T12:11:22Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳（メタデータ） (2021-02-17T18:25:30Z) - Generating Adversarial Examples with an Optimized Quality [12.747258403133035]
ディープラーニングモデルは、Adversarial Examples(AE)に対して脆弱であり、これらのモデルを欺くために慎重に作られたサンプルである。
近年の研究では、新たな敵攻撃法が導入されたが、工芸品の品質は保証されていない。
本稿では,画像品質評価(IQA)メトリクスをAEの設計・生成プロセスに組み込む。
論文 参考訳（メタデータ） (2020-06-30T23:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。