論文の概要: Assessing Trustworthiness of Autonomous Systems
- arxiv url: http://arxiv.org/abs/2305.03411v1
- Date: Fri, 5 May 2023 10:26:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-05-08 14:30:56.035171
- Title: Assessing Trustworthiness of Autonomous Systems
- Title(参考訳): 自律システムの信頼性評価
- Authors: Gregory Chance and Dhaminda B. Abeywickrama and Beckett LeClair and
Owen Kerr and Kerstin Eder
- Abstract要約: 社会において、自律システム(AS)がよりユビキタスになり、より安全とそれとの相互作用に責任を負うようになり、それらが信頼に値することが不可欠である。
ASの信頼性を評価することは、検証と開発コミュニティにとって必須の課題である。
これは、現在および将来の幅広いアプリケーションにおいて、ASの信頼性を客観的かつ相対的に判断するのに役立つ適切な標準と適切なメトリクスを必要とします。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Autonomous Systems (AS) become more ubiquitous in society, more
responsible for our safety and our interaction with them more frequent, it is
essential that they are trustworthy. Assessing the trustworthiness of AS is a
mandatory challenge for the verification and development community. This will
require appropriate standards and suitable metrics that may serve to
objectively and comparatively judge trustworthiness of AS across the broad
range of current and future applications. The meta-expression `trustworthiness'
is examined in the context of AS capturing the relevant qualities that comprise
this term in the literature. Recent developments in standards and frameworks
that support assurance of autonomous systems are reviewed. A list of key
challenges are identified for the community and we present an outline of a
process that can be used as a trustworthiness assessment framework for AS.
- Abstract(参考訳): 社会において、自律システム(AS)がよりユビキタスになり、より安全とそれとの相互作用に責任を負うようになり、それらが信頼に値することが不可欠である。
ASの信頼性を評価することは、検証と開発コミュニティにとって必須の課題である。
これは、現在および将来の幅広いアプリケーションにおいて、ASの信頼性を客観的かつ相対的に判断するのに役立つ適切な標準と適切なメトリクスを必要とします。
信頼度」というメタ表現は、文献でこの用語を構成する関連する性質を捉えるという文脈で検討される。
自律システムの保証をサポートする標準とフレームワークの最近の進展を概観する。
コミュニティにとって重要な課題のリストが特定され、ASの信頼性評価フレームワークとして使用できるプロセスの概要を示す。
関連論文リスト
- Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。
敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。
GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
論文 参考訳(メタデータ) (2025-03-30T13:26:00Z) - REVAL: A Comprehension Evaluation on Reliability and Values of Large Vision-Language Models [59.445672459851274]
REVALは、Large Vision-Language Modelsの textbfREliability と textbfVALue を評価するために設計された包括的なベンチマークである。
REVALには144K以上の画像テキストビジュアル質問回答(VQA)サンプルが含まれており、信頼性と価値の2つの主要なセクションで構成されている。
主流のオープンソースLVLMや,GPT-4oやGemini-1.5-Proといった著名なクローズドソースモデルを含む26のモデルを評価した。
論文 参考訳(メタデータ) (2025-03-20T07:54:35Z) - On the Trustworthiness of Generative Foundation Models: Guideline, Assessment, and Perspective [333.9220561243189]
Generative Foundation Models (GenFMs) がトランスフォーメーションツールとして登場した。
彼らの広く採用されていることは、次元の信頼に関する重要な懸念を提起する。
本稿では,3つの主要なコントリビューションを通じて,これらの課題に対処するための包括的枠組みを提案する。
論文 参考訳(メタデータ) (2025-02-20T06:20:36Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳(メタデータ) (2025-02-19T05:58:52Z) - Assessing the Trustworthiness of Electronic Identity Management Systems: Framework and Insights from Inception to Deployment [9.132025152225447]
本稿ではDISTAF(Digital Identity Systems Trustworthiness Assessment Framework)を紹介する。
65以上のメカニズムと、国際標準や技術ガイドラインから派生した400以上のメトリクスによって支援されている。
我々は, Modular Open Source Identity Platform (MOSIP) インスタンスを用いた実世界の実装による DISTAF の応用を実演する。
論文 参考訳(メタデータ) (2025-02-15T11:26:30Z) - Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。
RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。
RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
論文 参考訳(メタデータ) (2025-02-08T06:50:47Z) - FaithEval: Can Your Language Model Stay Faithful to Context, Even If "The Moon is Made of Marshmallows" [74.7488607599921]
FaithEvalは、コンテキストシナリオにおける大規模言語モデル(LLM)の忠実度を評価するためのベンチマークである。
FaithEvalは4.9Kの高品質な問題で構成され、厳格な4段階のコンテキスト構築と検証フレームワークを通じて検証されている。
論文 参考訳(メタデータ) (2024-09-30T06:27:53Z) - Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。
本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
論文 参考訳(メタデータ) (2024-09-16T09:06:44Z) - Trustworthiness for an Ultra-Wideband Localization Service [2.4979362117484714]
本稿では,超広帯域自己ローカライゼーションのための総合的信頼性評価フレームワークを提案する。
我々の目標は、客観的な証拠に基づいてシステムの信頼性を評価するためのガイダンスを提供することである。
我々のアプローチは、結果の信頼性指標が、選択された現実世界の脅威に対応することを保証します。
論文 参考訳(メタデータ) (2024-08-10T11:57:10Z) - On Specifying for Trustworthiness [39.845582350253515]
私たちは、ASのレジリエンス、信頼、機能、検証可能性、セキュリティ、ガバナンスと規制を考慮して、様々なASドメインを調査します。
我々は、ASにおける信頼性の特定にかかわる知的課題を強調し、ASが運用する必要がある環境にかかわる本質的な不確実性によって悪化している。
論文 参考訳(メタデータ) (2022-06-22T23:37:18Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳(メタデータ) (2022-05-09T19:28:32Z) - Designing for Responsible Trust in AI Systems: A Communication
Perspective [56.80107647520364]
我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。
私たちは、AIシステムの能力として透明性とインタラクションを強調します。
我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
論文 参考訳(メタデータ) (2022-04-29T00:14:33Z) - Defining Security Requirements with the Common Criteria: Applications,
Adoptions, and Challenges [17.700647389830774]
セキュリティ特性を持つICT製品の採用は、消費者の信頼と市場によるセキュリティ機能への信頼に依存している。
情報技術セキュリティ評価のための共通基準(Common Criteria for Information Technology Security Evaluation、CC)は、サイバーセキュリティ認証の国際規格である。
信頼性の高いサイバーセキュリティ向上のための保護プロファイル、勧告、および今後の方向性の開発に関するベストプラクティスが提示される。
論文 参考訳(メタデータ) (2022-01-19T05:05:33Z) - Reliability Testing for Natural Language Processing Systems [14.393308846231083]
信頼性テストの必要性を議論し、説明責任の改善に関する既存の作業の中でコンテキスト化しています。
我々は,この目的のために,信頼性テストを開発するためのフレームワークを通じて,敵の攻撃を再構築する方法を示す。
論文 参考訳(メタデータ) (2021-05-06T11:24:58Z) - How Trustworthy are Performance Evaluations for Basic Vision Tasks? [46.0590176230731]
本稿では,オブジェクトの集合,オブジェクト検出,インスタンスレベルのセグメンテーション,マルチオブジェクトトラッキングを含む基本的な視覚タスクの性能評価基準について検討する。
既存の基準によるアルゴリズムのランキングは、パラメータの選択によって変動し、その評価が信頼できない。
この研究は、(i)信頼性のパラメータに対する堅牢性、(ii)健全性テストにおける文脈意味性、(iii)計量特性のような数学的要求との整合性を必要とする性能基準に対する信頼性の概念を示唆する。
論文 参考訳(メタデータ) (2020-08-08T14:21:15Z) - Quantifying Assurance in Learning-enabled Systems [3.0938904602244355]
機械学習コンポーネントを組み込んだシステムの依存性保証は、安全クリティカルなアプリケーションで使用する上で重要なステップである。
本稿では, LESが信頼できるという保証の定量的概念を, 保証ケースのコアコンポーネントとして開発する。
本稿では,現実の自律型航空システムへの適用による保証対策の有用性について述べる。
論文 参考訳(メタデータ) (2020-06-18T08:11:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。