論文の概要: Concept-Guided LLM Agents for Human-AI Safety Codesign

• arxiv url: http://arxiv.org/abs/2404.15317v1
• Date: Wed, 3 Apr 2024 11:37:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-28 10:56:51.103720
• Title: Concept-Guided LLM Agents for Human-AI Safety Codesign
• Title（参考訳）: ヒューマンAI安全設計のためのコンセプトガイド型LLMエージェント
• Authors: Florian Geissler, Karsten Roscher, Mario Trapp,
• Abstract要約: ジェネレーティブAIは、安全工学を含むソフトウェア工学においてますます重要になっている。 ソフトウェアシステムの複雑さと安全性を効果的に解決できる、より高度で高度なアプローチを開発することが重要です。 安全解析やヒューマンAI符号設計に大規模言語モデルを活用するための,効率的かつハイブリッドな戦略を提案する。
• 参考スコア（独自算出の注目度）: 6.603483691167379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI is increasingly important in software engineering, including safety engineering, where its use ensures that software does not cause harm to people. This also leads to high quality requirements for generative AI. Therefore, the simplistic use of Large Language Models (LLMs) alone will not meet these quality demands. It is crucial to develop more advanced and sophisticated approaches that can effectively address the complexities and safety concerns of software systems. Ultimately, humans must understand and take responsibility for the suggestions provided by generative AI to ensure system safety. To this end, we present an efficient, hybrid strategy to leverage LLMs for safety analysis and Human-AI codesign. In particular, we develop a customized LLM agent that uses elements of prompt engineering, heuristic reasoning, and retrieval-augmented generation to solve tasks associated with predefined safety concepts, in interaction with a system model graph. The reasoning is guided by a cascade of micro-decisions that help preserve structured information. We further suggest a graph verbalization which acts as an intermediate representation of the system model to facilitate LLM-graph interactions. Selected pairs of prompts and responses relevant for safety analytics illustrate our method for the use case of a simplified automated driving system.
• Abstract（参考訳）: ジェネレーティブAIは、安全工学を含むソフトウェア工学においてますます重要になっている。 これはまた、生成AIの高品質な要件にも繋がる。 したがって、LLM(Large Language Models)の単純化された使用だけでは、これらの品質要求を満たすことはできない。 ソフトウェアシステムの複雑さと安全性を効果的に解決できる、より高度で高度なアプローチを開発することが重要です。 究極的には、人間はシステムの安全性を確保するために、生成AIが提供する提案を理解し、責任を負わなければならない。 この目的のために,安全性解析やヒューマンAI符号設計にLLMを活用するための,効率的でハイブリッドな戦略を提案する。 特に、システムモデルグラフとの相互作用において、事前に定義された安全概念に関連する課題を解決するために、迅速なエンジニアリング、ヒューリスティック推論、検索強化生成の要素を利用するカスタマイズLDMエージェントを開発する。 推論は、構造化された情報を保存するのに役立つ微小な決定のカスケードによって導かれる。 さらに,LLM-グラフ相互作用を促進するために,システムモデルの中間表現として機能するグラフ言語化を提案する。 安全分析に関係のあるプロンプトと応答のペアを選択することで,自動化運転システムの利用事例を示す。

関連論文リスト

• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
  我々は、AI安全性に対する一連のアプローチを紹介し、定義する。 これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。 これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
  論文  参考訳（メタデータ） (2024-05-10T17:38:32Z)
• Inherent Diverse Redundant Safety Mechanisms for AI-based Software Elements in Automotive Applications [1.6495054381576084]
  本稿では,自律走行システムにおける人工知能(AI)アルゴリズムの役割と課題について考察する。 主な関心事は、AIモデルの初期のトレーニングデータを超えて一般化する能力(と必要性)に関連している。 本稿では、自律運転のような安全クリティカルなアプリケーションにおける過信AIモデルに関連するリスクについて検討する。
  論文  参考訳（メタデータ） (2024-02-13T04:15:26Z)
• Building Guardrails for Large Language Models [19.96292920696796]
  LLMの入力や出力をフィルタリングするガードレールは、コアセーフガード技術として登場した。 このポジションペーパーでは、現在のオープンソースソリューション(Llama Guard, Nvidia NeMo, Guardrails AI)を詳しく調べ、より完全なソリューションを構築するための課題と道筋について論じる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:00Z)
• Automated Process Planning Based on a Semantic Capability Model and SMT [50.76251195257306]
  製造システムと自律ロボットの研究において、機械で解釈可能なシステム機能の仕様に「能力」という用語が用いられる。 セマンティック能力モデルから始めて、AI計画問題を自動的に生成するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-14T10:37:34Z)
• Building Trustworthy NeuroSymbolic AI Systems: Consistency, Reliability, Explainability, and Safety [11.933469815219544]
  我々は、NeuroSymbolicメソッド上で、一貫性、信頼性、ユーザレベルの説明可能性、安全性がどのように構築されているかを示すCRESTフレームワークを紹介します。 この記事では、CRESTフレームワーク内で選択されたAIシステムとして、Large Language Models(LLM)に焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-05T06:13:55Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
  モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。 特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
  論文  参考訳（メタデータ） (2022-03-06T10:12:56Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。