論文の概要: A Conceptual Framework for Ethical Evaluation of Machine Learning Systems
- arxiv url: http://arxiv.org/abs/2408.10239v1
- Date: Mon, 5 Aug 2024 01:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-25 14:21:10.728486
- Title: A Conceptual Framework for Ethical Evaluation of Machine Learning Systems
- Title（参考訳）: 機械学習システムの倫理的評価のための概念的枠組み
- Authors: Neha R. Gupta, Jessica Hullman, Hari Subramonyam,
- Abstract要約: 倫理的意味は、機械学習システムの評価を設計する際に現れる。
本稿では,倫理的評価における重要なトレードオフを,潜在的な倫理的害に対する情報ゲインのバランスとして特徴付けるユーティリティ・フレームワークを提案する。
我々の分析は、倫理的な複雑さを意図的に評価し、管理する開発チームにとって重要な必要性を浮き彫りにしている。
- 参考スコア（独自算出の注目度）: 12.887834116390358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research in Responsible AI has developed a range of principles and practices to ensure that machine learning systems are used in a manner that is ethical and aligned with human values. However, a critical yet often neglected aspect of ethical ML is the ethical implications that appear when designing evaluations of ML systems. For instance, teams may have to balance a trade-off between highly informative tests to ensure downstream product safety, with potential fairness harms inherent to the implemented testing procedures. We conceptualize ethics-related concerns in standard ML evaluation techniques. Specifically, we present a utility framework, characterizing the key trade-off in ethical evaluation as balancing information gain against potential ethical harms. The framework is then a tool for characterizing challenges teams face, and systematically disentangling competing considerations that teams seek to balance. Differentiating between different types of issues encountered in evaluation allows us to highlight best practices from analogous domains, such as clinical trials and automotive crash testing, which navigate these issues in ways that can offer inspiration to improve evaluation processes in ML. Our analysis underscores the critical need for development teams to deliberately assess and manage ethical complexities that arise during the evaluation of ML systems, and for the industry to move towards designing institutional policies to support ethical evaluations.
- Abstract（参考訳）: Responsible AIの研究は、倫理的かつ人間の価値観に沿った方法で機械学習システムが使用されることを保証するために、さまざまな原則とプラクティスを開発した。
しかし、倫理的MLの批判的かつしばしば無視される側面は、MLシステムの評価を設計する際に現れる倫理的意味である。
例えば、チームは、ダウンストリーム製品の安全性を保証するために、非常に情報性の高いテスト間のトレードオフをバランスさせなければなりません。
我々は、標準ML評価手法における倫理に関する懸念を概念化する。
具体的には、倫理的評価における重要なトレードオフを、潜在的な倫理的害に対する情報ゲインのバランスとして特徴づけるユーティリティ・フレームワークを提案する。
フレームワークは、チームが直面する課題を特徴づけ、チームがバランスをとろうとする競合する考慮事項を体系的に切り離すためのツールになります。
評価で遭遇するさまざまなタイプの課題を区別することで、臨床試験や自動車事故テストのような類似のドメインからのベストプラクティスを強調できる。
本分析は,MLシステムの評価において生じる倫理的複雑さを開発チームが意図的に評価・管理し,倫理的評価を支援するための制度的政策を策定する上で重要な必要性を浮き彫りにするものである。
関連論文リスト
- Human services organizations and the responsible integration of AI: Considering ethics and contextualizing risk(s) [0.0]
著者らは、AIデプロイメントに関する倫理的懸念は、実装コンテキストや特定のユースケースによって大きく異なると主張している。
彼らは、データ感度、専門的な監視要件、クライアントの幸福に対する潜在的影響などの要因を考慮に入れた、次元的リスクアセスメントアプローチを提案する。
論文 参考訳（メタデータ） (2025-01-20T19:38:21Z) - Deontic Temporal Logic for Formal Verification of AI Ethics [4.028503203417233]
本稿では,AIシステムの倫理的行動を定義し評価するために,デオン論理に基づく形式化を提案する。
公理と定理を導入し、公正性と説明可能性に関する倫理的要件を捉えている。
筆者らは,実世界のCompASとローン予測AIシステムの倫理性を評価することにより,この形式化の有効性を評価する。
論文 参考訳（メタデータ） (2025-01-10T07:48:40Z) - Where Assessment Validation and Responsible AI Meet [0.0876953078294908]
本稿では,古典的テスト検証理論と評価固有のドメインに依存しないRAIの原則と実践を考察する統合評価フレームワークを提案する。
このフレームワークは、妥当性議論をサポートする評価のための責任あるAI使用、人間の価値と監視を維持するためのAI倫理との整合性、そしてAI使用に関連するより広範な社会的責任に対処する。
論文 参考訳（メタデータ） (2024-11-04T20:20:29Z) - Can We Trust AI Agents? An Experimental Study Towards Trustworthy LLM-Based Multi-Agent Systems for AI Ethics [10.084913433923566]
本研究では,信頼度向上技術が倫理的AI出力生成に与える影響について検討する。
我々はLLM-BMASのプロトタイプを設計し、エージェントは現実世界の倫理的AI問題に関する構造化された議論を行う。
議論では、バイアス検出、透明性、説明責任、ユーザの同意、コンプライアンス、公正性評価、EU AI Actコンプライアンスといった用語が明らかにされている。
論文 参考訳（メタデータ） (2024-10-25T20:17:59Z) - Pessimistic Evaluation [58.736490198613154]
情報アクセスシステムの評価は,情報アクセスの伝統に沿わない実用的価値を前提としている。
我々は,最悪のケースユーティリティに着目した情報アクセスシステムの悲観的評価を提唱する。
論文 参考訳（メタデータ） (2024-10-17T15:40:09Z) - Ethics in conversation: Building an ethics assurance case for autonomous
AI-enabled voice agents in healthcare [1.8964739087256175]
原則に基づく倫理保証議論パターンは、AI倫理のランドスケープにおける1つの提案である。
本稿では,AIベースの遠隔医療システムであるDoraの利用に対して,この倫理保証フレームワークを適用した事例研究の中間的結果を示す。
論文 参考訳（メタデータ） (2023-05-23T16:04:59Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳（メタデータ） (2022-05-09T19:28:32Z) - Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。
AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。
我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
論文 参考訳（メタデータ） (2022-04-11T14:36:39Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳（メタデータ） (2021-05-07T12:01:31Z) - Case Study: Deontological Ethics in NLP [119.53038547411062]
我々はNLPの観点から1つの倫理理論、すなわち非オントロジー的倫理について研究する。
特に、インフォームド・コンセントを通じて、一般化原則と自律性への敬意に焦点を当てる。
NLPシステムでこれらの原則をどのように利用できるかを示すための4つのケーススタディを提供する。
論文 参考訳（メタデータ） (2020-10-09T16:04:51Z) - On the Morality of Artificial Intelligence [154.69452301122175]
本稿では,機械学習の研究・展開に関する概念的かつ実践的な原則とガイドラインを提案する。
我々は,より倫理的で道徳的なMLの実践を追求するために,実践者が採る具体的な行動を主張している。
論文 参考訳（メタデータ） (2019-12-26T23:06:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。