論文の概要: Concept-Guided LLM Agents for Human-AI Safety Codesign
- arxiv url: http://arxiv.org/abs/2404.15317v1
- Date: Wed, 3 Apr 2024 11:37:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-28 10:56:51.103720
- Title: Concept-Guided LLM Agents for Human-AI Safety Codesign
- Title(参考訳): ヒューマンAI安全設計のためのコンセプトガイド型LLMエージェント
- Authors: Florian Geissler, Karsten Roscher, Mario Trapp,
- Abstract要約: ジェネレーティブAIは、安全工学を含むソフトウェア工学においてますます重要になっている。
ソフトウェアシステムの複雑さと安全性を効果的に解決できる、より高度で高度なアプローチを開発することが重要です。
安全解析やヒューマンAI符号設計に大規模言語モデルを活用するための,効率的かつハイブリッドな戦略を提案する。
- 参考スコア(独自算出の注目度): 6.603483691167379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI is increasingly important in software engineering, including safety engineering, where its use ensures that software does not cause harm to people. This also leads to high quality requirements for generative AI. Therefore, the simplistic use of Large Language Models (LLMs) alone will not meet these quality demands. It is crucial to develop more advanced and sophisticated approaches that can effectively address the complexities and safety concerns of software systems. Ultimately, humans must understand and take responsibility for the suggestions provided by generative AI to ensure system safety. To this end, we present an efficient, hybrid strategy to leverage LLMs for safety analysis and Human-AI codesign. In particular, we develop a customized LLM agent that uses elements of prompt engineering, heuristic reasoning, and retrieval-augmented generation to solve tasks associated with predefined safety concepts, in interaction with a system model graph. The reasoning is guided by a cascade of micro-decisions that help preserve structured information. We further suggest a graph verbalization which acts as an intermediate representation of the system model to facilitate LLM-graph interactions. Selected pairs of prompts and responses relevant for safety analytics illustrate our method for the use case of a simplified automated driving system.
- Abstract(参考訳): ジェネレーティブAIは、安全工学を含むソフトウェア工学においてますます重要になっている。
これはまた、生成AIの高品質な要件にも繋がる。
したがって、LLM(Large Language Models)の単純化された使用だけでは、これらの品質要求を満たすことはできない。
ソフトウェアシステムの複雑さと安全性を効果的に解決できる、より高度で高度なアプローチを開発することが重要です。
究極的には、人間はシステムの安全性を確保するために、生成AIが提供する提案を理解し、責任を負わなければならない。
この目的のために,安全性解析やヒューマンAI符号設計にLLMを活用するための,効率的でハイブリッドな戦略を提案する。
特に、システムモデルグラフとの相互作用において、事前に定義された安全概念に関連する課題を解決するために、迅速なエンジニアリング、ヒューリスティック推論、検索強化生成の要素を利用するカスタマイズLDMエージェントを開発する。
推論は、構造化された情報を保存するのに役立つ微小な決定のカスケードによって導かれる。
さらに,LLM-グラフ相互作用を促進するために,システムモデルの中間表現として機能するグラフ言語化を提案する。
安全分析に関係のあるプロンプトと応答のペアを選択することで,自動化運転システムの利用事例を示す。
関連論文リスト
- Inherent Diverse Redundant Safety Mechanisms for AI-based Software
Elements in Automotive Applications [1.6495054381576084]
本稿では,自律走行システムにおける人工知能(AI)アルゴリズムの役割と課題について考察する。
主な関心事は、AIモデルの初期のトレーニングデータを超えて一般化する能力(と必要性)に関連している。
本稿では、自律運転のような安全クリティカルなアプリケーションにおける過信AIモデルに関連するリスクについて検討する。
論文 参考訳(メタデータ) (2024-02-13T04:15:26Z) - Building Guardrails for Large Language Models [20.71365278201298]
LLMの入力や出力をフィルタリングするガードレールは、コアセーフガード技術として登場した。
このポジションペーパーでは、現在のオープンソースソリューション(Llama Guard, Nvidia NeMo, Guardrails AI)を詳しく調べ、より完全なソリューションを構築するための課題と道筋について論じる。
論文 参考訳(メタデータ) (2024-02-02T16:35:00Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Automated Process Planning Based on a Semantic Capability Model and SMT [50.76251195257306]
製造システムと自律ロボットの研究において、機械で解釈可能なシステム機能の仕様に「能力」という用語が用いられる。
セマンティック能力モデルから始めて、AI計画問題を自動的に生成するアプローチを提案する。
論文 参考訳(メタデータ) (2023-12-14T10:37:34Z) - Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability,
Explainability, and Safety [11.933469815219544]
我々は、NeuroSymbolicメソッド上で、一貫性、信頼性、ユーザレベルの説明可能性、安全性がどのように構築されているかを示すCRESTフレームワークを紹介します。
この記事では、CRESTフレームワーク内で選択されたAIシステムとして、Large Language Models(LLM)に焦点を当てる。
論文 参考訳(メタデータ) (2023-12-05T06:13:55Z) - Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。
LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。
適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文 参考訳(メタデータ) (2023-11-28T03:13:09Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳(メタデータ) (2022-12-12T06:30:17Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳(メタデータ) (2022-03-06T10:12:56Z) - Proceedings of the Robust Artificial Intelligence System Assurance
(RAISA) Workshop 2022 [0.0]
RAISAワークショップは、堅牢な人工知能(AI)と機械学習(ML)システムの研究、開発、応用に焦点を当てる。
特定のMLアルゴリズムに関してロバストネスを研究するのではなく、システムアーキテクチャのレベルでロバストネスの保証を検討することを目的としています。
論文 参考訳(メタデータ) (2022-02-10T01:15:50Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z) - AAAI FSS-19: Human-Centered AI: Trustworthiness of AI Models and Data
Proceedings [8.445274192818825]
予測モデルは不確実性を認識し、信頼できる予測をもたらすことが不可欠である。
このシンポジウムの焦点は、データ品質と技術的堅牢性と安全性を改善するAIシステムであった。
広く定義された領域からの提出はまた、説明可能なモデル、人間の信頼、AIの倫理的側面といった要求に対処するアプローチについても論じた。
論文 参考訳(メタデータ) (2020-01-15T15:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。