論文の概要: Generative AI in Systems Engineering: A Framework for Risk Assessment of Large Language Models
- arxiv url: http://arxiv.org/abs/2602.04358v1
- Date: Wed, 04 Feb 2026 09:30:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.456311
- Title: Generative AI in Systems Engineering: A Framework for Risk Assessment of Large Language Models
- Title（参考訳）: システム工学におけるジェネレーティブAI:大規模言語モデルのリスクアセスメントのためのフレームワーク
- Authors: Stefan Otten, Philipp Reis, Philipp Rigoll, Joshua Ransiek, Tobias Schürmann, Jacob Langner, Eric Sax,
- Abstract要約: LLM(Large Language Models)の利用の増加は、エンジニアリングライフサイクル全体にわたって大きなチャンスをもたらします。
本稿では,システム工学環境におけるLLMの適用性を評価するための構造化アプローチであるLLM Risk Assessment Framework(LRF)を紹介する。
- 参考スコア（独自算出の注目度）: 0.8062120534124607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing use of Large Language Models (LLMs) offers significant opportunities across the engineering lifecycle, including requirements engineering, software development, process optimization, and decision support. Despite this potential, organizations face substantial challenges in assessing the risks associated with LLM use, resulting in inconsistent integration, unknown failure modes, and limited scalability. This paper introduces the LLM Risk Assessment Framework (LRF), a structured approach for evaluating the application of LLMs within Systems Engineering (SE) environments. The framework classifies LLM-based applications along two fundamental dimensions: autonomy, ranging from supportive assistance to fully automated decision making, and impact, reflecting the potential severity of incorrect or misleading model outputs on engineering processes and system elements. By combining these dimensions, the LRF enables consistent determination of corresponding risk levels across the development lifecycle. The resulting classification supports organizations in identifying appropriate validation strategies, levels of human oversight, and required countermeasures to ensure safe and transparent deployment. The framework thereby helps align the rapid evolution of AI technologies with established engineering principles of reliability, traceability, and controlled process integration. Overall, the LRF provides a basis for risk-aware adoption of LLMs in complex engineering environments and represents a first step toward standardized AI assurance practices in systems engineering.
- Abstract（参考訳）: LLM(Large Language Models)の利用の増加は、要件エンジニアリング、ソフトウェア開発、プロセス最適化、意思決定支援など、エンジニアリングライフサイクル全体にわたって大きな機会を提供する。
このような可能性にもかかわらず、組織はLLMの使用に伴うリスクを評価する上で、一貫性のない統合、未知の障害モード、スケーラビリティの制限といった重大な課題に直面しています。
本稿では,システム工学(SE)環境におけるLLMの適用性を評価するための構造化アプローチであるLLM Risk Assessment Framework(LRF)を紹介する。
このフレームワークはLLMベースのアプリケーションを2つの基本的な側面に沿って分類する: 自律性(自主性) - 支援的援助から完全に自動化された意思決定まで、そして影響 - エンジニアリングプロセスとシステム要素に対する間違ったまたは誤解を招くモデルアウトプットの潜在的な深刻さを反映する。
これらの次元を組み合わせることで、LRFは開発ライフサイクル全体で対応するリスクレベルを一貫した決定を可能にします。
結果として得られた分類は、適切な検証戦略、人間の監視レベル、安全で透明なデプロイメントを保証するために必要な対策の特定を支援する。
このフレームワークは、AI技術の急速な進化を、信頼性、トレーサビリティ、制御されたプロセス統合の確立したエンジニアリング原則と整合させるのに役立つ。
全体として、LRFは複雑なエンジニアリング環境でのLSMのリスク認識の基盤を提供し、システムエンジニアリングにおけるAI保証プラクティスの標準化に向けた第一歩である。
関連論文リスト
- Failure Modes in LLM Systems: A System-Level Taxonomy for Reliable AI Applications [0.0]
大規模言語モデル(LLM)は、意思決定支援ツール、自動化、AI対応ソフトウェアシステムに急速に統合されている。
本稿では,現実のLLMアプリケーションで発生する15の隠れ障害モードのシステムレベルでの分類について述べる。
論文 参考訳（メタデータ） (2025-11-25T05:19:23Z) - A Comprehensive Survey on Benchmarks and Solutions in Software Engineering of LLM-Empowered Agentic System [56.40989626804489]
この調査は、Large Language Modelsを使ったソフトウェアエンジニアリングに関する、最初の総合的な分析を提供する。
本稿では,150以上の最近の論文をレビューし,(1)素早い,微調整,エージェントベースのパラダイムに分類した解法,(2)コード生成,翻訳,修復などのタスクを含むベンチマークという2つの重要な側面に沿った分類法を提案する。
論文 参考訳（メタデータ） (2025-10-10T06:56:50Z) - From nuclear safety to LLM security: Applying non-probabilistic risk management strategies to build safe and secure LLM-powered systems [49.1574468325115]
大型言語モデル(LLM)は、前例がなく成長する能力を提供するが、複雑な安全性とセキュリティの課題ももたらす。
以前の研究では、原子力や土木工学といった様々な工学分野におけるリスク管理は、一般的な(フィールドに依存しない)戦略によってしばしば解決されている。
ここでは、LSMによるシステムにおける新たなリスクが、リスク管理の非確率的戦略の100以上で満たされる可能性を示す。
論文 参考訳（メタデータ） (2025-05-20T16:07:41Z) - ASIL-Decomposition Based Resource Allocation Optimization for Automotive E/E Architectures [0.4143603294943439]
ソフトウェアコンポーネントを利用可能なハードウェアリソースに自動的にマッピングするアプローチを提案する。
既存のフレームワークと比較して,本手法はISO 26262規格に準拠した幅広い安全性解析を提供する。
我々は,臨界関数連鎖の開発コストと最大実行時間の両方を最小化するために,多目的最適化問題を定式化する。
論文 参考訳（メタデータ） (2025-05-10T15:48:29Z) - An LLM-enabled Multi-Agent Autonomous Mechatronics Design Framework [49.633199780510864]
本研究は, 機械設計, 最適化, エレクトロニクス, ソフトウェア工学の専門知識を統合した多エージェント自律メカトロニクス設計フレームワークを提案する。
このフレームワークは、言語駆動のワークフローを通じて運用され、構造化された人間のフィードバックを組み込んで、現実世界の制約下での堅牢なパフォーマンスを保証する。
完全に機能する自律型容器は、最適化された推進、コスト効率の高い電子機器、高度な制御を備えていた。
論文 参考訳（メタデータ） (2025-04-20T16:57:45Z) - Safe LLM-Controlled Robots with Formal Guarantees via Reachability Analysis [0.6749750044497732]
本稿では,Large Language Models (LLM) 制御ロボットを対象とした,データ駆動型リーチビリティ解析に基づく安全保証フレームワークを提案する。
我々のアプローチは、明示的な分析モデルに頼ることなく、安全でない行動に対する厳密な安全保証を提供する。
論文 参考訳（メタデータ） (2025-03-05T21:23:15Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - Concept-Guided LLM Agents for Human-AI Safety Codesign [6.603483691167379]
ジェネレーティブAIは、安全工学を含むソフトウェア工学においてますます重要になっている。
ソフトウェアシステムの複雑さと安全性を効果的に解決できる、より高度で高度なアプローチを開発することが重要です。
安全解析やヒューマンAI符号設計に大規模言語モデルを活用するための,効率的かつハイブリッドな戦略を提案する。
論文 参考訳（メタデータ） (2024-04-03T11:37:01Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。