論文の概要: Evaluation and Incident Prevention in an Enterprise AI Assistant
- arxiv url: http://arxiv.org/abs/2504.13924v1
- Date: Fri, 11 Apr 2025 20:10:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:52.660759
- Title: Evaluation and Incident Prevention in an Enterprise AI Assistant
- Title（参考訳）: エンタープライズAIアシスタントにおける評価とインシデント防止
- Authors: Akash V. Maharaj, David Arbour, Daniel Lee, Uttaran Bhattacharya, Anup Rao, Austin Zane, Avi Feller, Kun Qian, Yunyao Li,
- Abstract要約: 本稿では、複数のチームによるアクティブな開発において、複雑なマルチコンポーネントシステムの監視、ベンチマーク、継続的な改善のための包括的なフレームワークを提案する。
この全体的フレームワークを採用することで、組織はAIアシスタントの信頼性とパフォーマンスを体系的に強化することができる。
- 参考スコア（独自算出の注目度）: 20.635362734048723
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Enterprise AI Assistants are increasingly deployed in domains where accuracy is paramount, making each erroneous output a potentially significant incident. This paper presents a comprehensive framework for monitoring, benchmarking, and continuously improving such complex, multi-component systems under active development by multiple teams. Our approach encompasses three key elements: (1) a hierarchical ``severity'' framework for incident detection that identifies and categorizes errors while attributing component-specific error rates, facilitating targeted improvements; (2) a scalable and principled methodology for benchmark construction, evaluation, and deployment, designed to accommodate multiple development teams, mitigate overfitting risks, and assess the downstream impact of system modifications; and (3) a continual improvement strategy leveraging multidimensional evaluation, enabling the identification and implementation of diverse enhancement opportunities. By adopting this holistic framework, organizations can systematically enhance the reliability and performance of their AI Assistants, ensuring their efficacy in critical enterprise environments. We conclude by discussing how this multifaceted evaluation approach opens avenues for various classes of enhancements, paving the way for more robust and trustworthy AI systems.
- Abstract（参考訳）: エンタープライズAIアシスタントは、精度が最重要であるドメインにますますデプロイされ、それぞれの誤出力が潜在的に重大なインシデントになる。
本稿では、複数のチームによるアクティブな開発において、複雑なマルチコンポーネントシステムの監視、ベンチマーク、継続的な改善のための包括的なフレームワークを提案する。
提案手法は,(1)コンポーネント固有のエラー率に寄与しながらエラーを識別し,分類するインシデント検出のための階層的「重大性」フレームワーク,(2)複数の開発チームを対象とするベンチマーク構築,評価,展開のためのスケーラブルで原則化された方法論,過度なリスクの軽減,システム修正の下流への影響評価,(3)多次元評価を活用し,多様な拡張機会の識別と実装を可能にする継続的改善戦略,の3つの要素を含む。
この全体的フレームワークを採用することで、組織はAIアシスタントの信頼性とパフォーマンスを体系的に向上し、重要なエンタープライズ環境での有効性を確保することができる。
私たちは、この多面的評価アプローチが、さまざまな種類の拡張の道を開き、より堅牢で信頼性の高いAIシステムへの道を開く、という議論から締めくくります。
関連論文リスト
- Co-RedTeam: Orchestrated Security Discovery and Exploitation with LLM Agents [57.49020237126194]
大規模言語モデル(LLM)はサイバーセキュリティタスクを支援することを約束しているが、既存のアプローチでは自動脆弱性発見とエクスプロイトに苦労している。
Co-RedTeamは,現実世界のレッドチームのミラーリングを目的とした,セキュリティを意識したマルチエージェントフレームワークである。
Co-RedTeamは、脆弱性分析をコーディネートされた発見およびエクスプロイトステージに分解し、エージェントがアクションを計画、実行、検証、洗練できるようにする。
論文 参考訳（メタデータ） (2026-02-02T14:38:45Z) - Integrating Diverse Assignment Strategies into DETRs [61.61489761918158]
ラベル割り当ては、特にDETRスタイルのフレームワークにおいて、オブジェクト検出器において重要なコンポーネントである。
我々は,任意のDETR型検出器に多様な割り当て戦略をシームレスに統合する,フレキシブルで軽量なフレームワークであるLoRA-DETRを提案する。
論文 参考訳（メタデータ） (2026-01-14T07:28:54Z) - From Failure Modes to Reliability Awareness in Generative and Agentic AI System [0.20391237204597365]
この章は、階層化された障害モードから、生成的およびエージェント的AIシステムにおける信頼性の認識までのパスをトレースすることで、技術的分析と組織的準備を橋渡しする。
まず,ハードウェアやパワーファウンデーションから適応学習,エージェント推論に至るまで,脆弱性を識別する構造化フレームワークである11層障害スタックを紹介した。
この診断レンズを補完するため,我々は,AIスタック全体の信頼性リスクを個人や組織がいかに認識するかを定量化する,成熟度指向のフレームワークである認識マッピングの概念を開発した。
論文 参考訳（メタデータ） (2025-10-24T19:12:07Z) - Where Did It All Go Wrong? A Hierarchical Look into Multi-Agent Error Attribution [0.7226144684379191]
本稿では,階層的文脈表現,客観分析に基づく評価,コンセンサス投票を組み合わせた新しいアルゴリズムECHOを提案する。
実験の結果,ECHOは様々なマルチエージェントインタラクションシナリオにおいて既存手法よりも優れていた。
論文 参考訳（メタデータ） (2025-10-06T15:07:13Z) - Diagnose, Localize, Align: A Full-Stack Framework for Reliable LLM Multi-Agent Systems under Instruction Conflicts [75.20929587906228]
LLM(Large Language Model)を利用したマルチエージェントシステム(MAS)は、複雑なタスクにおける協調推論、ツールの使用、役割特化調整を急速に進めている。
しかし、信頼性クリティカルなデプロイメントは、体系的な障害モード、すなわち命令の競合による階層的コンプライアンスによって妨げられている。
論文 参考訳（メタデータ） (2025-09-27T08:43:34Z) - AgentCompass: Towards Reliable Evaluation of Agentic Workflows in Production [4.031479494871582]
本稿では,エージェントパイプラインのデプロイ後監視と推論に特化して設計された,最初の評価フレームワークであるAgentを紹介する。
Agentは、主要なメトリクスに関する最先端の結果を達成すると同時に、人間のアノテーションで見逃された重要な問題を明らかにする。
論文 参考訳（メタデータ） (2025-09-18T05:59:04Z) - Diverse And Private Synthetic Datasets Generation for RAG evaluation: A multi-agent framework [2.102846336724103]
Retrieval-augmented Generation (RAG) システムは、外部知識を組み込むことで、より大きな言語モデルの出力を改善する。
本研究では,RAG評価のための合成QAデータセットを生成するための新しいマルチエージェントフレームワークを導入し,セマンティック多様性とプライバシ保護を優先する。
論文 参考訳（メタデータ） (2025-08-26T11:16:14Z) - Parallelism Meets Adaptiveness: Scalable Documents Understanding in Multi-Agent LLM Systems [0.8437187555622164]
大規模言語モデル(LLM)エージェントは、協調的なタスク補完の約束が増していることを示している。
既存のマルチエージェントフレームワークは、静的で固定されたロールと限定的なエージェント間通信に依存していることが多い。
本稿では,3つのコア機構による適応性を実現するための協調フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-22T22:42:51Z) - Adaptability in Multi-Agent Reinforcement Learning: A Framework and Unified Review [9.246912481179464]
MARL(Multi-Agent Reinforcement Learning)は、シミュレーションベンチマークと制約付きシナリオ間で複数のエージェントを協調する上で、明らかな効果を示している。
この調査は、動的で実世界のマルチエージェントシステムへのデプロイに適したアルゴリズムの開発に寄与する。
論文 参考訳（メタデータ） (2025-07-14T10:39:17Z) - Multi-level Value Alignment in Agentic AI Systems: Survey and Perspectives [29.49571891159761]
エージェントAIシステムの価値アライメントは、エージェントの目標、嗜好、行動が人間の価値観や社会的規範と一致することを保証することを目的としている。
本研究では,エージェントAIシステムの代表的アーキタイプとして,LLMに基づくマルチエージェントシステムにおける価値アライメントを包括的にレビューする。
論文 参考訳（メタデータ） (2025-06-11T12:25:38Z) - Advancing Multi-Agent Systems Through Model Context Protocol: Architecture, Implementation, and Applications [0.0]
本稿では,モデルコンテキストプロトコル(MCP)によるマルチエージェントシステムの進化のための包括的フレームワークを提案する。
我々は、統合理論基盤、高度なコンテキスト管理技術、スケーラブルな調整パターンを開発することで、AIエージェントアーキテクチャに関するこれまでの研究を拡張した。
私たちは、現在の制限、新たな研究機会、そして業界全体にわたる潜在的な変革的応用を特定します。
論文 参考訳（メタデータ） (2025-04-26T03:43:03Z) - Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation [52.83870601473094]
エンボディード・エージェントは、複数のドメインにまたがって大きな潜在能力を示す。
既存の研究は主に、一般的な大言語モデルのセキュリティに重点を置いている。
本稿では, エンボディエージェントの保護を目的とした新しい入力モデレーションフレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-22T08:34:35Z) - Beyond Black-Box Benchmarking: Observability, Analytics, and Optimization of Agentic Systems [1.415098516077151]
エージェントがさまざまなタスクを実行するために協力するエージェントAIシステムの台頭は、その振る舞いを観察し、分析し、最適化する上で、新たな課題を提起する。
従来の評価とベンチマークのアプローチは、これらのシステムの非決定論的、文脈に敏感で動的な性質を扱うのに苦労する。
本稿では,エージェントシステムを開発,テスト,保守にまたがって分析・最適化する上で重要な課題と機会について考察する。
論文 参考訳（メタデータ） (2025-03-09T20:02:04Z) - Multi-Agent Risks from Advanced AI [90.74347101431474]
先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。
エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。
各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
論文 参考訳（メタデータ） (2025-02-19T23:03:21Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Table-Critic: A Multi-Agent Framework for Collaborative Criticism and Refinement in Table Reasoning [3.721438719967748]
Table-Criticは、協調的な批判と推論プロセスの反復的な洗練を促進する、新しいマルチエージェントフレームワークである。
枠組みは, エラー識別審査員, 包括的批判批判者, プロセス改善の精錬者, パターン蒸留のキュレーターの4つの特殊エージェントから構成される。
計算効率と解分解率の低下を保ちながら、テーブル・クライトは精度と誤差補正率に優れることを示した。
論文 参考訳（メタデータ） (2025-02-17T13:42:12Z) - Agent-Oriented Planning in Multi-Agent Systems [54.429028104022066]
マルチエージェントシステムにおけるエージェント指向計画のための新しいフレームワークであるAOPを提案する。
本研究では, エージェント指向計画の3つの重要な設計原則, 可解性, 完全性, 非冗長性を明らかにする。
大規模実験は,マルチエージェントシステムにおける単一エージェントシステムと既存の計画戦略と比較して,現実の問題を解決する上でのAOPの進歩を実証している。
論文 参考訳（メタデータ） (2024-10-03T04:07:51Z) - Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks [50.75902473813379]
本研究は、そのようなモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。
提案フレームワークは,極度の命令摂動に対するマルチモーダルモデルのレジリエンスと,観測的変化に対する脆弱性を明らかにする。
論文 参考訳（メタデータ） (2024-07-04T14:36:49Z) - Dynamic Vulnerability Criticality Calculator for Industrial Control Systems [0.0]
本稿では,動的脆弱性臨界計算機を提案する革新的な手法を提案する。
本手法は, 環境トポロジの分析と, 展開されたセキュリティ機構の有効性を包含する。
本手法では,これらの要因を総合的なファジィ認知マップモデルに統合し,攻撃経路を組み込んで全体の脆弱性スコアを総合的に評価する。
論文 参考訳（メタデータ） (2024-03-20T09:48:47Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。
これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
論文 参考訳（メタデータ） (2024-01-24T01:51:00Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。