論文の概要: A Taxonomy of Multi-Layered Runtime Guardrails for Designing Foundation Model-Based Agents: Swiss Cheese Model for AI Safety by Design
- arxiv url: http://arxiv.org/abs/2408.02205v2
- Date: Thu, 7 Nov 2024 14:39:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 20:01:00.637833
- Title: A Taxonomy of Multi-Layered Runtime Guardrails for Designing Foundation Model-Based Agents: Swiss Cheese Model for AI Safety by Design
- Title（参考訳）: 基礎モデルに基づくエージェント設計のための多層ランタイムガードレールの分類:設計によるAI安全のためのスイスチーズモデル
- Authors: Md Shamsujjoha, Qinghua Lu, Dehai Zhao, Liming Zhu,
- Abstract要約: 本稿では,多層ガードレールの特性と設計の選択肢を分類・比較するために,多層ガードレールの分類法を提案する。
ガードレール間の関係、それらが緩和するリスク、そしてエージェントアーキテクチャに影響を及ぼす品質特性を強調します。
- 参考スコア（独自算出の注目度）: 12.593620173835415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation Model (FM) based agents are revolutionizing application development across various domains. However, their rapidly growing capabilities and autonomy have raised significant concerns about AI safety. Designing effective guardrails for these agents is challenging due to their autonomous and non-deterministic behavior, and the involvement of multiple artifacts -- such as goals, prompts, plans, tools, knowledge bases, and intermediate and final results. Addressing these unique challenges runtime requires multi-layered guardrails that operate effectively at various levels of the agent architecture, similar to the Swiss Cheese Model. In this paper, we present a taxonomy of multi-layered runtime guardrails to classify and compare their characteristics and design options, grounded on a systematic literature review and guided by the Swiss Cheese Model. This taxonomy is organized into external and internal quality attributes and design options categories. We also highlight the relationships between guardrails, the associated risks they mitigate, and the quality attributes they impact in agent architectures. Thus, the proposed taxonomy provides structured and concrete guidance for making architectural design decisions when implementing multi-layered guardrails while emphasizing the trade-offs inherent in these decisions.
- Abstract（参考訳）: Foundation Model(FM)ベースのエージェントは、さまざまなドメインにわたるアプリケーション開発に革命をもたらしている。
しかし、その急速に成長する能力と自律性は、AIの安全性に関する大きな懸念を引き起こしている。
これらのエージェントの効果的なガードレールの設計は、自律的で非決定的な振る舞いと、目標、プロンプト、計画、ツール、知識ベース、中間および最終結果など、複数のアーティファクトの関与によって困難である。
これらのユニークな課題に対処するには、スイスチーズモデルと同様、エージェントアーキテクチャの様々なレベルで効果的に動作する多層ガードレールが必要である。
本稿では,スイスチーズモデルによる系統的な文献レビューとガイドに基づいて,多層型ランタイムガードレールの特性と設計オプションを分類・比較するための分類法を提案する。
この分類は、外部および内部品質属性と設計オプションカテゴリに分類される。
また、ガードレールとそれらが緩和するリスク、そしてエージェントアーキテクチャに影響を及ぼす品質特性の関係を強調します。
このようにして、提案した分類法は、これらの決定に固有のトレードオフを強調しつつ、多層ガードレールを実装する際にアーキテクチャ設計決定を行うための構造的かつ具体的なガイダンスを提供する。
関連論文リスト
- Agent-Oriented Planning in Multi-Agent Systems [54.429028104022066]
本稿では,高速なタスク分解とアロケーションプロセスを活用するマルチエージェントシステムにおけるエージェント指向計画のための新しいフレームワークを提案する。
提案フレームワークにフィードバックループを組み込んで,そのような問題解決プロセスの有効性と堅牢性をさらに向上させる。
論文 参考訳（メタデータ） (2024-10-03T04:07:51Z) - LLM-Agent-UMF: LLM-based Agent Unified Modeling Framework for Seamless Integration of Multi Active/Passive Core-Agents [0.0]
LLM-Agent-UMF(LLM-Agent-UMF)に基づく新しいエージェント統一モデリングフレームワークを提案する。
我々のフレームワークはLLMエージェントの異なるコンポーネントを区別し、LLMとツールを新しい要素であるコアエージェントから分離する。
我々は,13の最先端エージェントに適用し,それらの機能との整合性を実証することによって,我々の枠組みを評価する。
論文 参考訳（メタデータ） (2024-09-17T17:54:17Z) - Towards Human-Level Understanding of Complex Process Engineering Schematics: A Pedagogical, Introspective Multi-Agent Framework for Open-Domain Question Answering [0.0]
化学・プロセス産業では、プロセス・フロー・ダイアグラム(PFD)とパイプ・アンド・インスツルメンテーション・ダイアグラム(P&ID)が設計、建設、保守に不可欠である。
生成型AIの最近の進歩は、ビジュアル質問回答(VQA)のプロセス図の理解と解釈の約束を示している。
本稿では,階層的かつマルチエージェントなRetrieval Augmented Generation(RAG)フレームワークを用いた,セキュアでオンプレミスなエンタープライズソリューションを提案する。
論文 参考訳（メタデータ） (2024-08-24T19:34:04Z) - WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
大型言語モデル(LLM)は人間のような知性を模倣することができる。
WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
論文 参考訳（メタデータ） (2024-07-07T07:15:49Z) - Foundation Model Sherpas: Guiding Foundation Models through Knowledge
and Reasoning [23.763256908202496]
ファンデーションモデル(FM)は、さまざまなタスクにおいて顕著なパフォーマンスを示すことによって、AIの分野に革命をもたらした。
FMは、多くの現実世界システムで広く採用されるのを防ぐために、多くの制限を課している。
エージェントがFMと対話できる様々なモードをカプセル化する概念的枠組みを提案する。
論文 参考訳（メタデータ） (2024-02-02T18:00:35Z) - Forging Vision Foundation Models for Autonomous Driving: Challenges,
Methodologies, and Opportunities [59.02391344178202]
ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。
総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。
本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
論文 参考訳（メタデータ） (2024-01-16T01:57:24Z) - Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である
本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文 参考訳（メタデータ） (2023-12-22T17:57:57Z) - Towards Responsible Generative AI: A Reference Architecture for Designing Foundation Model based Agents [28.406492378232695]
ファンデーションモデルに基づくエージェントは、ファンデーションモデルの能力から自律性を引き出す。
本稿では,基礎モデルに基づくエージェントの設計におけるガイダンスとして機能するパターン指向参照アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-11-22T04:21:47Z) - Multi-Agent Reinforcement Learning Guided by Signal Temporal Logic
Specifications [22.407388715224283]
STL誘導型マルチエージェント強化学習フレームワークを提案する。
STL要求は、各エージェントの目的と安全仕様に応じてタスク仕様の両方を含むように設計され、STL仕様の値は、報酬を生成するために活用される。
論文 参考訳（メタデータ） (2023-06-11T23:53:29Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Multi-Agent Reinforcement Learning for Microprocessor Design Space
Exploration [71.95914457415624]
マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。
この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。
評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
論文 参考訳（メタデータ） (2022-11-29T17:10:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。