論文の概要: On the relationship between Benchmarking, Standards and Certification in
Robotics and AI
- arxiv url: http://arxiv.org/abs/2309.12139v1
- Date: Thu, 21 Sep 2023 14:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 14:49:39.054903
- Title: On the relationship between Benchmarking, Standards and Certification in
Robotics and AI
- Title(参考訳): ロボットとAIにおけるベンチマーク, 基準, 認定の関係について
- Authors: Alan F.T. Winfield and Matthew Studley
- Abstract要約: ベンチマーク、標準、認定は密接に関連するプロセスである。
ベンチマーク、標準、認定は有用であるだけでなく、責任あるイノベーションのより広範な実践にも不可欠である。
- 参考スコア(独自算出の注目度): 1.1421942894219899
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmarking, standards and certification are closely related processes.
Standards can provide normative requirements that robotics and AI systems may
or may not conform to. Certification generally relies upon conformance with one
or more standards as the key determinant of granting a certificate to operate.
And benchmarks are sets of standardised tests against which robots and AI
systems can be measured. Benchmarks therefore can be thought of as informal
standards. In this paper we will develop these themes with examples from
benchmarking, standards and certification, and argue that these three linked
processes are not only useful but vital to the broader practice of Responsible
Innovation.
- Abstract(参考訳): ベンチマーク、標準、認定は密接に関連するプロセスである。
標準はロボット工学やAIシステムが適合するかもしれないし従わないかもしれないという規範的な要件を提供することができる。
認証は一般的に、運用する証明書を付与する鍵となる決定要因として、1つ以上の基準に準拠している。
そしてベンチマークは、ロボットとAIシステムが測定可能な標準テストのセットだ。
したがってベンチマークは非公式標準と考えることができる。
本稿では、これらのテーマを、ベンチマーク、標準、認定の例から開発し、これら3つの関連プロセスは有用であるだけでなく、より広範な責任あるイノベーションの実践にとって不可欠であると主張する。
関連論文リスト
- Towards Responsible AI in Banking: Addressing Bias for Fair
Decision-Making [69.44075077934914]
責任AI(Responsible AI)は、企業文化の発展におけるバイアスに対処する重要な性質を強調している。
この論文は、バイアスを理解すること、バイアスを緩和すること、バイアスを説明することの3つの基本的な柱に基づいて構成されている。
オープンソースの原則に従って、アクセス可能なPythonパッケージとして、Bias On DemandとFairViewをリリースしました。
論文 参考訳(メタデータ) (2024-01-13T14:07:09Z) - How to Prune Your Language Model: Recovering Accuracy on the "Sparsity
May Cry'' Benchmark [60.72725673114168]
下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。
そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
論文 参考訳(メタデータ) (2023-12-21T03:11:30Z) - No Trust without regulation! [0.0]
機械学習(ML)の性能の爆発と、その応用の可能性は、産業システムにおけるその利用を考慮し続けています。
安全と、その基準、規制、標準の問題については、いまだに片側に過度に残っています。
欧州委員会は、安全で信頼性があり、ヨーロッパの倫理的価値を尊重するAIベースのアプリケーションを統合するための、前進と強固なアプローチを構築するための基盤を築き上げた。
論文 参考訳(メタデータ) (2023-09-27T09:08:41Z) - A General Verification Framework for Dynamical and Control Models via
Certificate Synthesis [60.03938402120854]
システム仕様を符号化し、対応する証明書を定義するためのフレームワークを提供する。
コントローラと証明書を形式的に合成する自動化手法を提案する。
我々のアプローチは、ニューラルネットワークの柔軟性を利用して、制御のための安全な学習の幅広い分野に寄与する。
論文 参考訳(メタデータ) (2023-09-12T09:37:26Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳(メタデータ) (2022-05-09T19:28:32Z) - AI Certification: Advancing Ethical Practice by Reducing Information
Asymmetries [0.0]
本稿は、現在のAI認定プログラムと提案の認定とレビューに関する管理文献から引用する。
このレビューは、この分野が現在、システム、個人、組織の自己証明と第三者による認証に焦点を当てていることを示している。
論文 参考訳(メタデータ) (2021-05-20T08:27:29Z) - Multisource AI Scorecard Table for System Evaluation [3.74397577716445]
本稿では、AI/機械学習(ML)システムの開発者およびユーザに対して標準チェックリストを提供するマルチソースAIスコアカードテーブル(MAST)について述べる。
本稿では,インテリジェンス・コミュニティ・ディレクティブ(ICD)203で概説されている分析的トレードクラフト標準が,AIシステムの性能を評価するためのフレームワークを提供する方法について考察する。
論文 参考訳(メタデータ) (2021-02-08T03:37:40Z) - The GEM Benchmark: Natural Language Generation, its Evaluation and
Metrics [66.96150429230035]
我々は、自然言語生成(NLG)のための生きたベンチマークであるGEM、その評価、およびメトリクスを紹介する。
ベンチマークの定期的なアップデートにより、NLGの研究はより多言語化され、モデルとともに課題を進化させる。
論文 参考訳(メタデータ) (2021-02-02T18:42:05Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳(メタデータ) (2020-10-24T08:30:20Z) - A Norm Emergence Framework for Normative MAS -- Position Paper [0.90238471756546]
本稿では,規範的マルチエージェントシステムにおける規範の出現のための枠組みを提案する。
同様に、エージェントのパーセンテージがノルムを採用すると、ノルムがノルムMASに出現する。
我々は、規範的MAS内での規範の出現のための枠組みを提唱し、特殊目的シンセサイザーエージェントは、これらの要求に応じて新しい規範や修正を定式化する。
論文 参考訳(メタデータ) (2020-04-06T11:42:01Z) - AIBench: An Agile Domain-specific Benchmarking Methodology and an AI
Benchmark Suite [26.820244556465333]
本稿では,アジャイルなドメイン固有のベンチマーク手法を提案する。
我々は10つの重要なエンドツーエンドアプリケーションシナリオを特定し、そのうち16の代表的なAIタスクをAIコンポーネントベンチマークとして抽出する。
最初のエンドツーエンドのインターネットサービスAIベンチマークを提示する。
論文 参考訳(メタデータ) (2020-02-17T07:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。