論文の概要: A Conceptual Framework for Ethical Evaluation of Machine Learning Systems
- arxiv url: http://arxiv.org/abs/2408.10239v1
- Date: Mon, 5 Aug 2024 01:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-25 14:21:10.728486
- Title: A Conceptual Framework for Ethical Evaluation of Machine Learning Systems
- Title(参考訳): 機械学習システムの倫理的評価のための概念的枠組み
- Authors: Neha R. Gupta, Jessica Hullman, Hari Subramonyam,
- Abstract要約: 倫理的意味は、機械学習システムの評価を設計する際に現れる。
本稿では,倫理的評価における重要なトレードオフを,潜在的な倫理的害に対する情報ゲインのバランスとして特徴付けるユーティリティ・フレームワークを提案する。
我々の分析は、倫理的な複雑さを意図的に評価し、管理する開発チームにとって重要な必要性を浮き彫りにしている。
- 参考スコア(独自算出の注目度): 12.887834116390358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research in Responsible AI has developed a range of principles and practices to ensure that machine learning systems are used in a manner that is ethical and aligned with human values. However, a critical yet often neglected aspect of ethical ML is the ethical implications that appear when designing evaluations of ML systems. For instance, teams may have to balance a trade-off between highly informative tests to ensure downstream product safety, with potential fairness harms inherent to the implemented testing procedures. We conceptualize ethics-related concerns in standard ML evaluation techniques. Specifically, we present a utility framework, characterizing the key trade-off in ethical evaluation as balancing information gain against potential ethical harms. The framework is then a tool for characterizing challenges teams face, and systematically disentangling competing considerations that teams seek to balance. Differentiating between different types of issues encountered in evaluation allows us to highlight best practices from analogous domains, such as clinical trials and automotive crash testing, which navigate these issues in ways that can offer inspiration to improve evaluation processes in ML. Our analysis underscores the critical need for development teams to deliberately assess and manage ethical complexities that arise during the evaluation of ML systems, and for the industry to move towards designing institutional policies to support ethical evaluations.
- Abstract(参考訳): Responsible AIの研究は、倫理的かつ人間の価値観に沿った方法で機械学習システムが使用されることを保証するために、さまざまな原則とプラクティスを開発した。
しかし、倫理的MLの批判的かつしばしば無視される側面は、MLシステムの評価を設計する際に現れる倫理的意味である。
例えば、チームは、ダウンストリーム製品の安全性を保証するために、非常に情報性の高いテスト間のトレードオフをバランスさせなければなりません。
我々は、標準ML評価手法における倫理に関する懸念を概念化する。
具体的には、倫理的評価における重要なトレードオフを、潜在的な倫理的害に対する情報ゲインのバランスとして特徴づけるユーティリティ・フレームワークを提案する。
フレームワークは、チームが直面する課題を特徴づけ、チームがバランスをとろうとする競合する考慮事項を体系的に切り離すためのツールになります。
評価で遭遇するさまざまなタイプの課題を区別することで、臨床試験や自動車事故テストのような類似のドメインからのベストプラクティスを強調できる。
本分析は,MLシステムの評価において生じる倫理的複雑さを開発チームが意図的に評価・管理し,倫理的評価を支援するための制度的政策を策定する上で重要な必要性を浮き彫りにするものである。
関連論文リスト
- EALM: Introducing Multidimensional Ethical Alignment in Conversational
Information Retrieval [43.72331337131317]
我々は、倫理的アライメントを、効率的なデータスクリーニングのための初期倫理的判断段階と統合するワークフローを導入する。
本稿では,ETHICSベンチマークから適応したQA-ETHICSデータセットについて述べる。
さらに,二項および多ラベルの倫理的判断タスクにおいて,最高の性能を実現する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-10-02T08:22:34Z) - Ethics in conversation: Building an ethics assurance case for autonomous
AI-enabled voice agents in healthcare [1.8964739087256175]
原則に基づく倫理保証議論パターンは、AI倫理のランドスケープにおける1つの提案である。
本稿では,AIベースの遠隔医療システムであるDoraの利用に対して,この倫理保証フレームワークを適用した事例研究の中間的結果を示す。
論文 参考訳(メタデータ) (2023-05-23T16:04:59Z) - From plane crashes to algorithmic harm: applicability of safety
engineering frameworks for responsible ML [8.411124873373172]
機械学習(ML)システムの不適切な設計と展開は、ユーザ、社会、環境に対するネガティブなダウンストリームの社会的および倫理的影響をもたらす。
MLシステムの規制の必要性が高まっているにもかかわらず、リスクの評価と緩和の現在のプロセスは相容れない。
論文 参考訳(メタデータ) (2022-10-06T00:09:06Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳(メタデータ) (2022-05-09T19:28:32Z) - Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。
AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。
我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
論文 参考訳(メタデータ) (2022-04-11T14:36:39Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - Case Study: Deontological Ethics in NLP [119.53038547411062]
我々はNLPの観点から1つの倫理理論、すなわち非オントロジー的倫理について研究する。
特に、インフォームド・コンセントを通じて、一般化原則と自律性への敬意に焦点を当てる。
NLPシステムでこれらの原則をどのように利用できるかを示すための4つのケーススタディを提供する。
論文 参考訳(メタデータ) (2020-10-09T16:04:51Z) - Implementing AI Ethics in Practice: An Empirical Evaluation of the
RESOLVEDD Strategy [6.7298812735467095]
我々は,ビジネス倫理学の分野であるRESOLVEDD戦略から,倫理システム開発の文脈において,既存の手法を実証的に評価する。
私たちの重要な発見の1つは、倫理的手法の使用が参加者に強制されたとしても、その利用はプロジェクトにおける倫理的配慮を促進したことである。
論文 参考訳(メタデータ) (2020-04-21T17:58:53Z) - On the Morality of Artificial Intelligence [154.69452301122175]
本稿では,機械学習の研究・展開に関する概念的かつ実践的な原則とガイドラインを提案する。
我々は,より倫理的で道徳的なMLの実践を追求するために,実践者が採る具体的な行動を主張している。
論文 参考訳(メタデータ) (2019-12-26T23:06:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。