論文の概要: Uncertainty Quantification for Competency Assessment of Autonomous Agents

• arxiv url: http://arxiv.org/abs/2206.10553v1
• Date: Tue, 21 Jun 2022 17:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-06-22 15:24:30.109872
• Title: Uncertainty Quantification for Competency Assessment of Autonomous Agents
• Title（参考訳）: 自律エージェントの能力評価のための不確実性定量化
• Abstract要約: 自律的なエージェントは 適切なレベルの信頼を 人から引き出す必要があります 信頼を構築する方法の1つは、エージェントに与えられたタスクを実行する能力を評価し、伝達させることである。 本稿では, 深部生成モデルのアンサンブルを用いて, エージェントの失語症およびてんかんの不確かさを定量化する方法について述べる。
• 参考スコア（独自算出の注目度）: 3.3517146652431378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For safe and reliable deployment in the real world, autonomous agents must elicit appropriate levels of trust from human users. One method to build trust is to have agents assess and communicate their own competencies for performing given tasks. Competency depends on the uncertainties affecting the agent, making accurate uncertainty quantification vital for competency assessment. In this work, we show how ensembles of deep generative models can be used to quantify the agent's aleatoric and epistemic uncertainties when forecasting task outcomes as part of competency assessment.
• Abstract（参考訳）: 現実世界で安全で信頼性の高いデプロイメントを行うためには、自律的なエージェントは適切なレベルの信頼を人間のユーザから引き出す必要がある。 信頼を構築する方法の1つは、エージェントに与えられたタスクを実行する能力を評価し、伝達させることである。 能力はエージェントに影響を及ぼす不確実性に依存し、能力評価にとって正確な不確実性定量化が不可欠である。 本稿では,能力評価の一環として課題成果を予測する際に,エージェントのアレエータ的・認識的不確かさを定量化するために,深層生成モデルのアンサンブルがいかに用いられるかを示す。

関連論文リスト

• Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
  身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。 我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
  論文  参考訳（メタデータ） (2026-07-28T17:50:44Z)
• Decision Making Needs Uncertainty Quantification [Lecture Notes] [35.36148913066079]
  この講義ノートは、第一原理と単一決定論的な設定の中で、目的とエージェントの知識のリンクを発達させる。 リスクニュートラルなエージェントが状態の後方分布を必要とするのに対し、リスクオーバーなエージェントは予測セットと最悪の決定ルールに最適性を損なうことなく依存できることを示す。
  論文  参考訳（メタデータ） (2026-07-15T22:50:26Z)
• SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment [10.850946672552277]
  スキル中心アセスメントのためのエンドツーエンドフレームワークであるSkillAuditを紹介します。 実用性、効率/コスト、安全性にまたがる包括的多次元評価レポートを生成する。 トップランクの現実世界のスキルパッケージをスキャンした結果、スキルの7%以上が危険な状態にあることがわかった。
  論文  参考訳（メタデータ） (2026-06-21T17:40:05Z)
• Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
  エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。 この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。 各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
  論文  参考訳（メタデータ） (2026-05-17T10:26:37Z)
• Margin-Adaptive Confidence Ranking for Reliable LLM Judgement [19.892445164810987]
  Jung et al. (2025)は、大きな言語モデルと人間の判断の一致を保証する仮説テストフレームワークを導入した。 我々は、信頼信号に頼るのではなく、専用の信頼度推定器を学ぶ。 固定シーケンステストに統合されると、学習された信頼度推定器はランキング精度を改善し、信頼度と不一致リスクの間の単調な関係を実証的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T21:01:05Z)
• Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability [6.195988633460139]
  本稿では,AIエージェント信頼性のための厳密な計測科学を確立する。 出力レベルの信頼性に$U$-statistics、軌道レベルの安定性にカーネルベースのメトリクスを活用することにより、エージェントを評価するための原則的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-05-11T13:06:24Z)
• BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
  本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。 本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:58:51Z)
• Semantic Chain-of-Trust: Autonomous Trust Orchestration for Collaborator Selection via Hypergraph-Aided Agentic AI [57.58120823855315]
  本稿では,新たなセマンティック・チェーン・オブ・トラストの概念に基づく自律的信頼オーケストレーション手法を提案する。 我々の技術はエージェントAIとハイパーグラフを用いてデバイス間の信頼関係を確立し維持する。 実験により,提案手法が資源効率の高い信頼評価を実現することを示す。
  論文  参考訳（メタデータ） (2025-07-31T13:53:25Z)
• Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
  AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。 さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
  論文  参考訳（メタデータ） (2025-05-28T20:22:43Z)
• Uncertainty in Action: Confidence Elicitation in Embodied Agents [7.180871428121812]
  本研究は,オープンエンドマルチモーダル環境におけるインボディード・インテリジェンス・エコシテーションに関する最初の研究である。 本稿では, 帰納的, 帰納的, 帰納的推論にまたがる信頼度を, 構造的信頼度評価として導入する。 階層型推論手法であるChain-of-Thoughtsでは,信頼性校正の精度が向上している。
  論文  参考訳（メタデータ） (2025-03-13T17:59:41Z)
• Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
  認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。 この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
  論文  参考訳（メタデータ） (2024-11-03T17:32:00Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• "A Good Bot Always Knows Its Limitations": Assessing Autonomous System Decision-making Competencies through Factorized Machine Self-confidence [5.167803438665586]
  Factorized Machine Self-confidence (FaMSeC)は、アルゴリズムによる意思決定プロセスを駆動する要因の全体的記述を提供する。 指標は、確率的意思決定アルゴリズムの幅広いクラスに埋め込まれた階層的な問題解決統計から導かれる。 FaMSeCは、アルゴリズムによる適合評価の良さを、様々な自律エージェントの設計に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2024-07-29T01:22:04Z)
• U-Trustworthy Models.Reliability, Competence, and Confidence in Decision-Making [0.21756081703275998]
  信頼性の正確な数学的定義を$mathcalU$-trustworthinessと呼ぶ。 $mathcalU$-trustworthinessの文脈において、適切にランク付けされたモデルは本質的に$mathcalU$-trustworthyであることが証明される。 我々は、信頼度を優先する尺度として、AUCメートル法の採用を提唱する。
  論文  参考訳（メタデータ） (2024-01-04T04:58:02Z)
• A Factor-Based Framework for Decision-Making Competency Self-Assessment [1.3670071336891754]
  我々は,機械的自己自信の観点から,簡潔な人間理解能力の自己評価を生成するための枠組みを開発する。 アルゴリズム計画のための確率論的メタ推論と不確実性の下での意思決定のいくつかの側面を組み合わせて、新しい一般化可能な自己自信因子のセットに到達する。
  論文  参考訳（メタデータ） (2022-03-22T18:19:10Z)
• Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection [78.24964622317634]
  本研究では, ベイズオートエンコーダ (BAEs) の定式化により, 全体の異常不確かさを定量化する。 不確実性の質を評価するために,不確実性の予測を拒否するオプションを追加して,異常を分類する作業を検討する。 本実験は,BAEと総異常不確かさが,ベンチマークデータセットと製造用実データセットのセットに与える影響を実証するものである。
  論文  参考訳（メタデータ） (2022-02-25T12:20:04Z)
• MACEst: The reliable and trustworthy Model Agnostic Confidence Estimator [0.17188280334580192]
  我々は、標準的な機械学習ポイント予測アルゴリズムに基づく信頼度推定は、基本的に欠陥があると主張している。 MACEstは信頼性と信頼性の高い信頼度推定を提供するモデル非依存信頼度推定器である。
  論文  参考訳（メタデータ） (2021-09-02T14:34:06Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Ensemble Quantile Networks: Uncertainty-Aware Reinforcement Learning with Applications in Autonomous Driving [1.6758573326215689]
  強化学習は、自律運転のための意思決定エージェントを作成するために使用できる。 これまでのアプローチではブラックボックスソリューションのみを提供しており、エージェントがその決定に対する自信について情報を提供していない。 本稿では,分布RLとアンサンブルアプローチを組み合わせて完全不確実性推定を行うEnsemble Quantile Networks (EQN)法を提案する。
  論文  参考訳（メタデータ） (2021-05-21T10:36:16Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。