論文の概要: Designing Multi-layered Runtime Guardrails for Foundation Model Based Agents: Swiss Cheese Model for AI Safety by Design

• arxiv url: http://arxiv.org/abs/2408.02205v3
• Date: Tue, 19 Nov 2024 01:10:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:43.397926
• Title: Designing Multi-layered Runtime Guardrails for Foundation Model Based Agents: Swiss Cheese Model for AI Safety by Design
• Title（参考訳）: 基礎モデルベースエージェントのための多層型ランタイムガードレールの設計:設計によるAI安全性のためのスイスチーズモデル
• Authors: Md Shamsujjoha, Qinghua Lu, Dehai Zhao, Liming Zhu,
• Abstract要約: Foundation Model(FM)ベースのエージェントは、さまざまなドメインにわたるアプリケーション開発に革命をもたらしている。 本稿では,FMをベースとしたエージェントを対象としたランタイムガードレールの包括的分類を行い,ガードレールと設計次元の重要な品質特性を同定する。 また,Swiss Cheese ModelにインスパイアされたFMエージェントのための多層型ランタイムガードレールの設計のための参照アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 12.593620173835415
• License:
• Abstract: Foundation Model (FM)-based agents are revolutionizing application development across various domains. However, their rapidly growing capabilities and autonomy have raised significant concerns about AI safety. Researchers are exploring better ways to design guardrails to ensure that the runtime behavior of FM-based agents remains within specific boundaries. Nevertheless, designing effective runtime guardrails is challenging due to the agents' autonomous and non-deterministic behavior. The involvement of multiple pipeline stages and agent artifacts, such as goals, plans, tools, at runtime further complicates these issues. Addressing these challenges at runtime requires multi-layered guardrails that operate effectively at various levels of the agent architecture. Thus, in this paper, we present a comprehensive taxonomy of runtime guardrails for FM-based agents to identify the key quality attributes for guardrails and design dimensions based on the results of a systematic literature review. Inspired by the Swiss Cheese Model, we also propose a reference architecture for designing multi-layered runtime guardrails for FM-based agents, which includes three dimensions: quality attributes, pipelines, and artifacts. The proposed taxonomy and reference architecture provide concrete and robust guidance for researchers and practitioners to build AI-safety-by-design from a software architecture perspective.
• Abstract（参考訳）: Foundation Model(FM)ベースのエージェントは、さまざまなドメインにわたるアプリケーション開発に革命をもたらしている。 しかし、その急速に成長する能力と自律性は、AIの安全性に関する大きな懸念を引き起こしている。 研究者たちは、FMベースのエージェントのランタイム動作が特定のバウンダリ内にあることを保証するために、ガードレールを設計するためのより良い方法を模索している。 それでも、エージェントの自律的かつ非決定論的行動のため、効果的なランタイムガードレールの設計は困難である。 複数のパイプラインステージと,目標や計画,ツールといったエージェントアーティファクトの関与は,これらの問題をさらに複雑にします。 これらの課題に実行時に対処するには、エージェントアーキテクチャのさまざまなレベルで効果的に動作する多層ガードレールが必要である。 そこで本稿では,FMをベースとしたエージェントを対象としたランタイムガードレールの包括的分類について,系統的な文献レビューの結果に基づいて,ガードレールのキー品質特性と設計次元を同定する。 Swiss Cheese Modelに触発されて、FMベースのエージェントのための多層ランタイムガードレールを設計するためのリファレンスアーキテクチャも提案する。 提案された分類学と参照アーキテクチャは、ソフトウェアアーキテクチャの観点からAIの安全性を設計する研究者や実践者に対して、具体的で堅牢なガイダンスを提供する。

関連論文リスト

• Agent-Oriented Planning in Multi-Agent Systems [54.429028104022066]
  本稿では,高速なタスク分解とアロケーションプロセスを活用するマルチエージェントシステムにおけるエージェント指向計画のための新しいフレームワークを提案する。 提案フレームワークにフィードバックループを組み込んで,そのような問題解決プロセスの有効性と堅牢性をさらに向上させる。
  論文  参考訳（メタデータ） (2024-10-03T04:07:51Z)
• LLM-Agent-UMF: LLM-based Agent Unified Modeling Framework for Seamless Integration of Multi Active/Passive Core-Agents [0.0]
  LLM-Agent-UMF(LLM-Agent-UMF)に基づく新しいエージェント統一モデリングフレームワークを提案する。 我々のフレームワークはLLMエージェントの異なるコンポーネントを区別し、LLMとツールを新しい要素であるコアエージェントから分離する。 我々は,13の最先端エージェントに適用し,それらの機能との整合性を実証することによって,我々の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-09-17T17:54:17Z)
• Towards Human-Level Understanding of Complex Process Engineering Schematics: A Pedagogical, Introspective Multi-Agent Framework for Open-Domain Question Answering [0.0]
  化学・プロセス産業では、プロセス・フロー・ダイアグラム(PFD)とパイプ・アンド・インスツルメンテーション・ダイアグラム(P&ID)が設計、建設、保守に不可欠である。 生成型AIの最近の進歩は、ビジュアル質問回答(VQA)のプロセス図の理解と解釈の約束を示している。 本稿では,階層的かつマルチエージェントなRetrieval Augmented Generation(RAG)フレームワークを用いた,セキュアでオンプレミスなエンタープライズソリューションを提案する。
  論文  参考訳（メタデータ） (2024-08-24T19:34:04Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• Foundation Model Sherpas: Guiding Foundation Models through Knowledge and Reasoning [23.763256908202496]
  ファンデーションモデル(FM)は、さまざまなタスクにおいて顕著なパフォーマンスを示すことによって、AIの分野に革命をもたらした。 FMは、多くの現実世界システムで広く採用されるのを防ぐために、多くの制限を課している。 エージェントがFMと対話できる様々なモードをカプセル化する概念的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-02T18:00:35Z)
• Forging Vision Foundation Models for Autonomous Driving: Challenges, Methodologies, and Opportunities [59.02391344178202]
  ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。 総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。 本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-01-16T01:57:24Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Towards Responsible Generative AI: A Reference Architecture for Designing Foundation Model based Agents [28.406492378232695]
  ファンデーションモデルに基づくエージェントは、ファンデーションモデルの能力から自律性を引き出す。 本稿では,基礎モデルに基づくエージェントの設計におけるガイダンスとして機能するパターン指向参照アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-22T04:21:47Z)
• Multi-Agent Reinforcement Learning Guided by Signal Temporal Logic Specifications [22.407388715224283]
  STL誘導型マルチエージェント強化学習フレームワークを提案する。 STL要求は、各エージェントの目的と安全仕様に応じてタスク仕様の両方を含むように設計され、STL仕様の値は、報酬を生成するために活用される。
  論文  参考訳（メタデータ） (2023-06-11T23:53:29Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。