論文の概要: The Value of Disagreement in AI Design, Evaluation, and Alignment
- arxiv url: http://arxiv.org/abs/2505.07772v1
- Date: Mon, 12 May 2025 17:22:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.513997
- Title: The Value of Disagreement in AI Design, Evaluation, and Alignment
- Title（参考訳）: AI設計・評価・アライメントにおける診断の価値
- Authors: Sina Fazelpour, Will Fleisher,
- Abstract要約: 相違はAIシステムの設計、評価、アライメントパイプライン全体に広がっている。
AI開発における標準的なプラクティスは、しばしば曖昧または不一致を排除し、エンジニアリングされた均質化をもたらす。
我々は,AIライフサイクルにおける不一致に関する実践的推論を導くための規範的枠組みを開発する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Disagreements are widespread across the design, evaluation, and alignment pipelines of artificial intelligence (AI) systems. Yet, standard practices in AI development often obscure or eliminate disagreement, resulting in an engineered homogenization that can be epistemically and ethically harmful, particularly for marginalized groups. In this paper, we characterize this risk, and develop a normative framework to guide practical reasoning about disagreement in the AI lifecycle. Our contributions are two-fold. First, we introduce the notion of perspectival homogenization, characterizing it as a coupled ethical-epistemic risk that arises when an aspect of an AI system's development unjustifiably suppresses disagreement and diversity of perspectives. We argue that perspectival homogenization is best understood as a procedural risk, which calls for targeted interventions throughout the AI development pipeline. Second, we propose a normative framework to guide such interventions, grounded in lines of research that explain why disagreement can be epistemically beneficial, and how its benefits can be realized in practice. We apply this framework to key design questions across three stages of AI development tasks: when disagreement is epistemically valuable; whose perspectives should be included and preserved; how to structure tasks and navigate trade-offs; and how disagreement should be documented and communicated. In doing so, we challenge common assumptions in AI practice, offer a principled foundation for emerging participatory and pluralistic approaches, and identify actionable pathways for future work in AI design and governance.
- Abstract（参考訳）: 分散は人工知能(AI)システムの設計、評価、アライメントのパイプライン全体に広がっている。
しかし、AI開発における標準的なプラクティスは、しばしば不一致を曖昧にあるいは排除し、特に疎外化グループに対して、認識的かつ倫理的に有害な均質化を工学的に行うことになる。
本稿では,このリスクを特徴づけ,AIライフサイクルにおける不一致に関する実践的推論を導くための規範的枠組みを開発する。
私たちの貢献は2倍です。
まず,AIシステムの発達の側面が,不一致や視点の多様性を不公平に抑制した場合に生じる,倫理的・観念的リスクを兼ね備えた概念として特徴付ける。
我々は、AI開発パイプライン全体を通して標的となる介入を要求する手続き的リスクとして、局部均質化が最もよく理解されていると論じる。
第2に,このような介入の指針となる規範的枠組みを提案し,なぜ意見の相違が認識的に有益か,そのメリットが実際にどのように実現されるのかを説明する。
私たちはこのフレームワークを、AI開発タスクの3つの段階で重要な設計上の問題に適用します。
そうすることで、AI実践における一般的な仮定に挑戦し、参加型および多元的アプローチの原則的な基盤を提供し、AI設計とガバナンスにおける将来の作業のための実行可能な経路を特定します。
関連論文リスト
- Towards Developing Ethical Reasoners: Integrating Probabilistic Reasoning and Decision-Making for Complex AI Systems [4.854297874710511]
計算倫理フレームワークは、複雑な実環境で動作するAIと自律システムにとって不可欠である。
既存のアプローチは、倫理原則を動的で曖昧な文脈に組み込むために必要な適応性に欠けることが多い。
本稿では,中間表現,確率論的推論,知識表現を組み合わせた総合的メタレベルフレームワークの構築に必要な要素について概説する。
論文 参考訳（メタデータ） (2025-02-28T17:25:11Z) - AI Ethics by Design: Implementing Customizable Guardrails for Responsible AI Development [0.0]
我々は、ルール、ポリシー、AIアシスタントを統合して、責任あるAI行動を保証する構造を提案する。
われわれのアプローチは倫理的多元主義に対応し、AIガバナンスの進化の展望に柔軟で適応可能なソリューションを提供する。
論文 参考訳（メタデータ） (2024-11-05T18:38:30Z) - Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。
人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。
我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
論文 参考訳（メタデータ） (2024-06-13T16:03:25Z) - Crossing the principle-practice gap in AI ethics with ethical problem-solving [0.0]
AI開発の技術的側面から倫理的言説を分離する原則-実践的ギャップを埋めるには、依然として未解決の問題である。
EPSは、責任、人間中心、価値指向のAI開発を促進する方法論である。
EPSを青写真として利用し、Ethics as a Service Platformの実装を提案します。
論文 参考訳（メタデータ） (2024-04-16T14:35:13Z) - Particip-AI: A Democratic Surveying Framework for Anticipating Future AI Use Cases, Harms and Benefits [54.648819983899614]
汎用AIは、一般大衆がAIを使用してそのパワーを利用するための障壁を下げたようだ。
本稿では,AI利用事例とその影響を推測し,評価するためのフレームワークであるPartICIP-AIを紹介する。
論文 参考訳（メタデータ） (2024-03-21T19:12:37Z) - AI Alignment: A Comprehensive Survey [69.61425542486275]
AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。
AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。
我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
論文 参考訳（メタデータ） (2023-10-30T15:52:15Z) - Ethics in conversation: Building an ethics assurance case for autonomous
AI-enabled voice agents in healthcare [1.8964739087256175]
原則に基づく倫理保証議論パターンは、AI倫理のランドスケープにおける1つの提案である。
本稿では,AIベースの遠隔医療システムであるDoraの利用に対して,この倫理保証フレームワークを適用した事例研究の中間的結果を示す。
論文 参考訳（メタデータ） (2023-05-23T16:04:59Z) - Fairness in Agreement With European Values: An Interdisciplinary
Perspective on AI Regulation [61.77881142275982]
この学際的立場の論文は、AIにおける公平性と差別に関する様々な懸念を考察し、AI規制がそれらにどう対処するかについて議論する。
私たちはまず、法律、(AI)産業、社会技術、そして(道徳)哲学のレンズを通して、AIと公正性に注目し、様々な視点を提示します。
我々は、AI公正性の懸念の観点から、AI法の取り組みを成功に導くために、AIレギュレーションが果たす役割を特定し、提案する。
論文 参考訳（メタデータ） (2022-06-08T12:32:08Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳（メタデータ） (2021-05-07T12:01:31Z) - Transdisciplinary AI Observatory -- Retrospective Analyses and
Future-Oriented Contradistinctions [22.968817032490996]
本稿では、本質的に学際的なAI観測アプローチの必要性を動機づける。
これらのAI観測ツールに基づいて、我々はAIの安全性に関する短期的な学際的ガイドラインを提示する。
論文 参考訳（メタデータ） (2020-11-26T16:01:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。