論文の概要: A Taxonomy of Multi-Layered Runtime Guardrails for Designing Foundation Model-Based Agents: Swiss Cheese Model for AI Safety by Design

• arxiv url: http://arxiv.org/abs/2408.02205v2
• Date: Thu, 7 Nov 2024 14:39:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 20:01:00.637833
• Title: A Taxonomy of Multi-Layered Runtime Guardrails for Designing Foundation Model-Based Agents: Swiss Cheese Model for AI Safety by Design
• Title（参考訳）: 基礎モデルに基づくエージェント設計のための多層ランタイムガードレールの分類:設計によるAI安全のためのスイスチーズモデル
• Authors: Md Shamsujjoha, Qinghua Lu, Dehai Zhao, Liming Zhu,
• Abstract要約: 本稿では,多層ガードレールの特性と設計の選択肢を分類・比較するために,多層ガードレールの分類法を提案する。 ガードレール間の関係、それらが緩和するリスク、そしてエージェントアーキテクチャに影響を及ぼす品質特性を強調します。
• 参考スコア（独自算出の注目度）: 12.593620173835415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation Model (FM) based agents are revolutionizing application development across various domains. However, their rapidly growing capabilities and autonomy have raised significant concerns about AI safety. Designing effective guardrails for these agents is challenging due to their autonomous and non-deterministic behavior, and the involvement of multiple artifacts -- such as goals, prompts, plans, tools, knowledge bases, and intermediate and final results. Addressing these unique challenges runtime requires multi-layered guardrails that operate effectively at various levels of the agent architecture, similar to the Swiss Cheese Model. In this paper, we present a taxonomy of multi-layered runtime guardrails to classify and compare their characteristics and design options, grounded on a systematic literature review and guided by the Swiss Cheese Model. This taxonomy is organized into external and internal quality attributes and design options categories. We also highlight the relationships between guardrails, the associated risks they mitigate, and the quality attributes they impact in agent architectures. Thus, the proposed taxonomy provides structured and concrete guidance for making architectural design decisions when implementing multi-layered guardrails while emphasizing the trade-offs inherent in these decisions.
• Abstract（参考訳）: Foundation Model(FM)ベースのエージェントは、さまざまなドメインにわたるアプリケーション開発に革命をもたらしている。 しかし、その急速に成長する能力と自律性は、AIの安全性に関する大きな懸念を引き起こしている。 これらのエージェントの効果的なガードレールの設計は、自律的で非決定的な振る舞いと、目標、プロンプト、計画、ツール、知識ベース、中間および最終結果など、複数のアーティファクトの関与によって困難である。 これらのユニークな課題に対処するには、スイスチーズモデルと同様、エージェントアーキテクチャの様々なレベルで効果的に動作する多層ガードレールが必要である。 本稿では,スイスチーズモデルによる系統的な文献レビューとガイドに基づいて,多層型ランタイムガードレールの特性と設計オプションを分類・比較するための分類法を提案する。 この分類は、外部および内部品質属性と設計オプションカテゴリに分類される。 また、ガードレールとそれらが緩和するリスク、そしてエージェントアーキテクチャに影響を及ぼす品質特性の関係を強調します。 このようにして、提案した分類法は、これらの決定に固有のトレードオフを強調しつつ、多層ガードレールを実装する際にアーキテクチャ設計決定を行うための構造的かつ具体的なガイダンスを提供する。

関連論文リスト

• Architecture-Aware Multi-Design Generation for Repository-Level Feature Addition [53.50448142467294]
  RAIMは、リポジトリレベルの機能追加のための、多設計およびアーキテクチャ対応のフレームワークである。 複数の多様な実装設計を生成することで、線形パッチから切り離される。 NoCode-bench Verifiedデータセットの実験では、RAIMが新しい最先端のパフォーマンスを確立することが示されている。
  論文  参考訳（メタデータ） (2026-03-02T12:50:40Z)
• Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models [78.73992315826035]
  ネイティブエージェントインテリジェンスと高い計算効率を調和させる軽量言語モデルであるYoutu-LLMを紹介する。 Youtu-LLMは、スクラッチから体系的に推論と計画能力の育成まで事前訓練されている。
  論文  参考訳（メタデータ） (2025-12-31T04:25:11Z)
• Designing Domain-Specific Agents via Hierarchical Task Abstraction Mechanism [61.01709143437043]
  階層型タスク抽象化機構(HTAM)を中心とした新しいエージェント設計フレームワークを提案する。 具体的には、HTAMは、社会的役割のエミュレーションを超えて、代わりに、複数のエージェントシステムを、あるドメインの固有のタスク依存グラフを反映する論理階層に構造化する。 我々は、複雑な地理空間解析に適したマルチエージェントシステムであるEarthAgentとして、このフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-21T12:25:47Z)
• AgentArcEval: An Architecture Evaluation Method for Foundation Model based Agents [25.51779417301816]
  本稿では,FMベースのエージェントアーキテクチャの複雑さに対処するために特別に設計されたエージェントアーキテクチャ評価手法であるAgentArcEvalを提案する。 エージェント固有の汎用シナリオのカタログも提示し、エージェントアーキテクチャの設計と評価のための具体的なシナリオを生成するためのガイドとして機能する。
  論文  参考訳（メタデータ） (2025-10-23T22:32:03Z)
• A Survey on Agentic Multimodal Large Language Models [84.18778056010629]
  エージェントマルチモーダル大言語モデル(Agentic MLLMs)に関する総合的な調査を行う。 我々は,エージェントMLLMの新たなパラダイムを探求し,その概念的基盤を明確にし,従来のMLLMエージェントとの特徴を区別する。 コミュニティのためのこの分野の研究をさらに加速するため、エージェントMLLMを開発するためのオープンソースのトレーニングフレームワーク、トレーニングおよび評価データセットをコンパイルする。
  論文  参考訳（メタデータ） (2025-10-13T04:07:01Z)
• Architecting Resilient LLM Agents: A Guide to Secure Plan-then-Execute Implementations [0.8078139482203387]
  本稿では,戦略計画と戦術実行を分離したエージェント設計であるPlan-then-Execute'(P-t-E)パターンのガイドを提供する。 この設計のセキュリティ上の意味、特に間接的なインジェクション攻撃に対する固有のレジリエンスに焦点が当てられている。 これらの原則を実行可能なものにするために、このガイドは3つの主要なエージェントフレームワークに対して、詳細な実装の青写真と動作コード参照を提供する。
  論文  参考訳（メタデータ） (2025-09-10T14:41:07Z)
• A Survey on Code Generation with LLM-based Agents [61.474191493322415]
  大規模言語モデル(LLM)を利用したコード生成エージェントは、ソフトウェア開発パラダイムに革命をもたらしている。 LLMは3つのコア特徴によって特徴づけられる。 本稿では,LLMに基づくコード生成エージェントの分野を体系的に調査する。
  論文  参考訳（メタデータ） (2025-07-31T18:17:36Z)
• Assemble Your Crew: Automatic Multi-agent Communication Topology Design via Autoregressive Graph Generation [72.44384066166147]
  大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)は、多様な領域にわたる複雑な問題を扱うための強力なソリューションとして登場した。 既存のアプローチは、事前に定義されたエージェントセットとハードコードされた相互作用構造を持つテンプレートグラフ修正パラダイムに依存しているため、基本的に制限されている。 協調グラフをスクラッチから構築することで、このパラダイムを運用する新しい自己回帰モデルであるARG-Designerを提案する。
  論文  参考訳（メタデータ） (2025-07-24T09:17:41Z)
• Deep Research Agents: A Systematic Examination And Roadmap [79.04813794804377]
  Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。 本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
  論文  参考訳（メタデータ） (2025-06-22T16:52:48Z)
• Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3032929492409]
  大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。 本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。 私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
  論文  参考訳（メタデータ） (2025-03-27T12:50:17Z)
• Agent-Oriented Planning in Multi-Agent Systems [54.429028104022066]
  本稿では,高速なタスク分解とアロケーションプロセスを活用するマルチエージェントシステムにおけるエージェント指向計画のための新しいフレームワークを提案する。 提案フレームワークにフィードバックループを組み込んで,そのような問題解決プロセスの有効性と堅牢性をさらに向上させる。
  論文  参考訳（メタデータ） (2024-10-03T04:07:51Z)
• LLM-Agent-UMF: LLM-based Agent Unified Modeling Framework for Seamless Integration of Multi Active/Passive Core-Agents [0.0]
  LLM-Agent-UMF(LLM-Agent-UMF)に基づく新しいエージェント統一モデリングフレームワークを提案する。 我々のフレームワークはLLMエージェントの異なるコンポーネントを区別し、LLMとツールを新しい要素であるコアエージェントから分離する。 我々は,13の最先端エージェントに適用し,それらの機能との整合性を実証することによって,我々の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-09-17T17:54:17Z)
• Towards Human-Level Understanding of Complex Process Engineering Schematics: A Pedagogical, Introspective Multi-Agent Framework for Open-Domain Question Answering [0.0]
  化学・プロセス産業では、プロセス・フロー・ダイアグラム(PFD)とパイプ・アンド・インスツルメンテーション・ダイアグラム(P&ID)が設計、建設、保守に不可欠である。 生成型AIの最近の進歩は、ビジュアル質問回答(VQA)のプロセス図の理解と解釈の約束を示している。 本稿では,階層的かつマルチエージェントなRetrieval Augmented Generation(RAG)フレームワークを用いた,セキュアでオンプレミスなエンタープライズソリューションを提案する。
  論文  参考訳（メタデータ） (2024-08-24T19:34:04Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• Foundation Model Sherpas: Guiding Foundation Models through Knowledge and Reasoning [23.763256908202496]
  ファンデーションモデル(FM)は、さまざまなタスクにおいて顕著なパフォーマンスを示すことによって、AIの分野に革命をもたらした。 FMは、多くの現実世界システムで広く採用されるのを防ぐために、多くの制限を課している。 エージェントがFMと対話できる様々なモードをカプセル化する概念的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-02T18:00:35Z)
• Forging Vision Foundation Models for Autonomous Driving: Challenges, Methodologies, and Opportunities [59.02391344178202]
  ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。 総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。 本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-01-16T01:57:24Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Towards Responsible Generative AI: A Reference Architecture for Designing Foundation Model based Agents [28.406492378232695]
  ファンデーションモデルに基づくエージェントは、ファンデーションモデルの能力から自律性を引き出す。 本稿では,基礎モデルに基づくエージェントの設計におけるガイダンスとして機能するパターン指向参照アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-22T04:21:47Z)
• Multi-Agent Reinforcement Learning Guided by Signal Temporal Logic Specifications [22.407388715224283]
  STL誘導型マルチエージェント強化学習フレームワークを提案する。 STL要求は、各エージェントの目的と安全仕様に応じてタスク仕様の両方を含むように設計され、STL仕様の値は、報酬を生成するために活用される。
  論文  参考訳（メタデータ） (2023-06-11T23:53:29Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Multi-Agent Reinforcement Learning for Microprocessor Design Space Exploration [71.95914457415624]
  マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。 この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。 評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2022-11-29T17:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。