Fugu-MT 論文翻訳(概要): Designing Disaggregated Evaluations of AI Systems: Choices, Considerations, and Tradeoffs

論文の概要: Designing Disaggregated Evaluations of AI Systems: Choices, Considerations, and Tradeoffs

arxiv url: http://arxiv.org/abs/2103.06076v1
Date: Wed, 10 Mar 2021 14:26:14 GMT
ステータス: 処理完了
システム内更新日: 2021-03-11 15:02:02.766967
Title: Designing Disaggregated Evaluations of AI Systems: Choices, Considerations, and Tradeoffs
Title（参考訳）: AIシステムの非凝集評価を設計する:選択、考察、トレードオフ
Authors: Solon Barocas, Anhong Guo, Ece Kamar, Jacquelyn Krones, Meredith Ringel Morris, Jennifer Wortman Vaughan, Duncan Wadsworth, Hanna Wallach
Abstract要約: 分散評価の設計に関わる選択肢、考慮事項、トレードオフについてより深く理解することで、研究者、実践者、一般の人々が、特定のグループに対してAIシステムがいかにパフォーマンスを低下させるかを理解することができます。
参考スコア（独自算出の注目度）: 42.401239658653914
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Several pieces of work have uncovered performance disparities by conducting "disaggregated evaluations" of AI systems. We build on these efforts by focusing on the choices that must be made when designing a disaggregated evaluation, as well as some of the key considerations that underlie these design choices and the tradeoffs between these considerations. We argue that a deeper understanding of the choices, considerations, and tradeoffs involved in designing disaggregated evaluations will better enable researchers, practitioners, and the public to understand the ways in which AI systems may be underperforming for particular groups of people.
Abstract（参考訳）: AIシステムの「分別評価」を行うことで、パフォーマンスの格差を明らかにした作品もいくつかあります。これらの取り組みは、分散評価を設計する際に行わなければならない選択肢と、これらの設計選択とこれらの検討の間のトレードオフの根底にある重要な考慮事項に焦点をあてて構築されます。分散評価の設計に関わる選択肢、考慮事項、トレードオフについてより深く理解することで、研究者、実践者、一般の人々が、特定のグループに対してAIシステムがいかにパフォーマンスを低下させるかを理解することができます。

関連論文リスト

Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文参考訳（メタデータ） (2024-11-13T10:42:11Z)
Negotiating the Shared Agency between Humans & AI in the Recommender System [1.4249472316161877]
ユーザエージェンシーに関する懸念は、固有の不透明性(情報非対称性)とアルゴリズムにおける一方的な出力(パワー非対称性)の性質から生じている。我々は,エージェントの種類がユーザの知覚や経験にどのように影響するかを理解し,人間とAIの対話システムのためのガイドラインや設計を洗練するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2024-03-23T19:23:08Z)
Beyond Recommender: An Exploratory Study of the Effects of Different AI Roles in AI-Assisted Decision Making [48.179458030691286]
Recommender、Analyzer、Devil's Advocateの3つのAIの役割について検討する。以上の結果から,各役割のタスクパフォーマンス,信頼性の適切性,ユーザエクスペリエンスにおける長所と短所が明らかとなった。これらの洞察は、異なる状況に応じて適応的な機能的役割を持つAIアシスタントを設計する上で、貴重な意味を提供する。
論文参考訳（メタデータ） (2024-03-04T07:32:28Z)
Evaluative Item-Contrastive Explanations in Rankings [47.24529321119513]
本稿では、説明可能なAIの特定の形態、すなわち対照的な説明の適用を提唱し、ランキング問題に対処するのに適している。本研究は,ランキングシステムに適した評価項目・コントラスト説明について紹介し,公開データを用いた実験を通じてその適用と特徴について解説する。
論文参考訳（メタデータ） (2023-12-14T15:40:51Z)
Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
大型言語モデル(LLM)は、関連判断を支援することができると主張している。自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
論文参考訳（メタデータ） (2023-04-13T13:08:38Z)
Video Surveillance System Incorporating Expert Decision-making Process: A Case Study on Detecting Calving Signs in Cattle [5.80793470875286]
本研究では、専門家の意思決定プロセスと、通知対象の豊富なドメイン知識を組み込むことにより、予測の背後にある推論を提示するビデオ監視AIシステムの枠組みについて検討する。本研究は,畜産従事者とのユーザスタディを通じて,提案手法に基づく牛の養殖の兆候を検出するシステムを構築し,そのシステムの評価を行った。
論文参考訳（メタデータ） (2023-01-10T12:06:49Z)
Doubting AI Predictions: Influence-Driven Second Opinion Recommendation [92.30805227803688]
我々は,補完的な意見を提供する可能性のある専門家を識別する,共通の組織的実践に基づいて,人間とAIのコラボレーションを強化する方法を提案する。提案手法は、一部の専門家がアルゴリズムによる評価に異を唱えるかどうかを特定することによって、生産的な不一致を活用することを目的としている。
論文参考訳（メタデータ） (2022-04-29T20:35:07Z)
AI for human assessment: What do professional assessors need? [33.88509725285237]
このケーススタディは、専門家が人的アセスメントにおける意思決定を支援することを目的としており、アセスメント担当者とのインタビューを行い、特定の職種に対する適性を評価する。評価の非言語的手がかりを抽出できる計算システムは、意思決定を支援するという点で評価者にとって有益である。本研究では,顔のキーポイント,ポーズ,頭部ポーズ,視線といったマルチモーダルな行動特徴を用いた教師なし異常検出アルゴリズムに基づくシステムを開発した。
論文参考訳（メタデータ） (2022-04-18T03:35:37Z)
Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文参考訳（メタデータ） (2022-03-14T17:40:42Z)
Assessing the Fairness of AI Systems: AI Practitioners' Processes, Challenges, and Needs for Support [18.148737010217953]
私たちは、実践者のプロセス、課題、サポートの必要性を特定するために、AI実践者とのインタビューとワークショップを行っています。パフォーマンス指標を選択し、最も関連する直接的な利害関係者や人口統計グループを特定する際に、実践者が課題に直面していることに気付きました。私たちは、直接利害関係者との関わりの欠如、疎外されたグループよりも顧客を優先するビジネスインペラティブ、大規模にAIシステムをデプロイする動機から生じる公正な作業への影響を特定します。
論文参考訳（メタデータ） (2021-12-10T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。