論文の概要: Exploring the Impact of Lay User Feedback for Improving AI Fairness
- arxiv url: http://arxiv.org/abs/2312.08064v2
- Date: Mon, 18 Dec 2023 14:35:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 21:54:12.191712
- Title: Exploring the Impact of Lay User Feedback for Improving AI Fairness
- Title(参考訳): レイユーザフィードバックがAIフェアネス改善に与える影響を探る
- Authors: Evdoxia Taka, Yuri Nakao, Ryosuke Sonoda, Takuya Yokota, Lin Luo,
Simone Stumpf
- Abstract要約: 公平なAI開発において利害関係者、特にレイユーザを増やすことは、まだ見過ごされがちだ。
近年の取り組みでは,レイユーザによるAIフェアネス関連のフィードバックの提供が検討されているが,ユーザからのフィードバックをAIモデルに統合する方法の理解が不足している。
我々の研究は、XGBoostにユーザフェアネスフィードバックを統合することのベースライン結果に貢献し、AIフェアネスにおける利害関係者の研究をブートストラップするデータセットとコードフレームワークを提供しています。
- 参考スコア(独自算出の注目度): 4.2646936031015645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fairness in AI is a growing concern for high-stakes decision making. Engaging
stakeholders, especially lay users, in fair AI development is promising yet
overlooked. Recent efforts explore enabling lay users to provide AI
fairness-related feedback, but there is still a lack of understanding of how to
integrate users' feedback into an AI model and the impacts of doing so. To
bridge this gap, we collected feedback from 58 lay users on the fairness of a
XGBoost model trained on the Home Credit dataset, and conducted offline
experiments to investigate the effects of retraining models on accuracy, and
individual and group fairness. Our work contributes baseline results of
integrating user fairness feedback in XGBoost, and a dataset and code framework
to bootstrap research in engaging stakeholders in AI fairness. Our discussion
highlights the challenges of employing user feedback in AI fairness and points
the way to a future application area of interactive machine learning.
- Abstract(参考訳): AIにおける公正さは、高い意思決定に対する関心が高まっている。
公平なAI開発において利害関係者、特にレイユーザを増やすことは、まだ見過ごされがちだ。
近年の取り組みでは,レイユーザによるAIフェアネス関連のフィードバックの提供が検討されているが,ユーザからのフィードバックをAIモデルに統合する方法や,その影響についてはまだ理解されていない。
このギャップを埋めるために,ホームクレジットデータセット上でトレーニングされたxgboostモデルの公平性に関する58 layユーザからのフィードバックを収集し,リトレーニングモデルが正確性,個人的および集団的公平性に与える影響を調査するためにオフライン実験を行った。
我々の研究は、XGBoostにユーザフェアネスフィードバックを統合することのベースライン結果に貢献し、AIフェアネスにおける利害関係者の研究をブートストラップするデータセットとコードフレームワークを提供しています。
我々の議論は、AIフェアネスにユーザフィードバックを採用する際の課題を強調し、対話型機械学習の将来の応用分野への道を示す。
関連論文リスト
- Improving Generalization of Alignment with Human Preferences through
Group Invariant Learning [56.19242260613749]
Reinforcement Learning from Human Feedback (RLHF) は、人間の好みに合わせた反応の生成を可能にする。
以前の研究は、強化学習(RL)がしばしばショートカットを利用して高い報酬を獲得し、挑戦的なサンプルを見落としていることを示している。
本稿では,複数のデータグループやドメインにまたがる一貫したポリシをRLで学習する,新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-18T13:54:15Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-13T07:03:39Z) - Continually Improving Extractive QA via Human Feedback [59.49549491725224]
本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。
多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
論文 参考訳(メタデータ) (2023-05-21T14:35:32Z) - Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。
本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。
43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
論文 参考訳(メタデータ) (2022-11-12T21:54:05Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳(メタデータ) (2022-08-16T21:39:58Z) - Toward Supporting Perceptual Complementarity in Human-AI Collaboration
via Reflection on Unobservables [7.3043497134309145]
予測を行う際に、潜在的に関連性のある観測不可能が、モデル出力と観測不能をどのように統合するかにどのように影響するかを理解するために、オンライン実験を行う。
以上の結果から, 観測不可能性に関する提示は, モデル出力と観測不能性を統合する方法を変えることができるが, 必ずしも性能改善につながるとは限らないことが示唆された。
論文 参考訳(メタデータ) (2022-07-28T00:05:14Z) - Let's Go to the Alien Zoo: Introducing an Experimental Framework to
Study Usability of Counterfactual Explanations for Machine Learning [6.883906273999368]
反事実的説明(CFEs)は、心理的に根拠づけられたアプローチとして、ポストホックな説明を生み出している。
私たちは、エンゲージメントがあり、Webベースでゲームに触発された実験的なフレームワークであるAlien Zooを紹介します。
概念実証として,本手法の有効性と実用性を示す。
論文 参考訳(メタデータ) (2022-05-06T17:57:05Z) - Towards Involving End-users in Interactive Human-in-the-loop AI Fairness [1.889930012459365]
人工知能(AI)における公正性の確保は、遠縁な応用においてバイアスや差別に対処するために重要である。
最近の研究は、人間が公正さを判断する方法と、AIモデルを公平にするために機械学習の専門家(ML)をサポートする方法について調査し始めている。
我々の研究は、通常のエンドユーザが潜在的公正性の問題を特定することができる、解釈可能でインタラクティブなヒューマン・イン・ザ・ループ・インタフェースの設計について検討している。
論文 参考訳(メタデータ) (2022-04-22T02:24:11Z) - Mind Your Outliers! Investigating the Negative Impact of Outliers on
Active Learning for Visual Question Answering [71.15403434929915]
視覚的質問応答のタスクにおいて、5つのモデルと4つのデータセットにまたがって、多種多様な能動的学習アプローチがランダム選択を上回りません。
アクティブな学習手法が好まれるが、モデルは学習に失敗する例の集まりである。
本研究では,アクティブ学習プールにおける集団外乱の減少に伴い,アクティブ学習サンプル効率が著しく向上することを示す。
論文 参考訳(メタデータ) (2021-07-06T00:52:11Z) - Understanding the Effect of Out-of-distribution Examples and Interactive
Explanations on Human-AI Decision Making [19.157591744997355]
典型的な実験的なセットアップは、人間-AIチームの可能性を制限します。
インタラクティブな説明を支援する新しいインターフェースを開発し、人間がAI支援に積極的に取り組みます。
論文 参考訳(メタデータ) (2021-01-13T19:01:32Z) - Mining Implicit Entity Preference from User-Item Interaction Data for
Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。
我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。
利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
論文 参考訳(メタデータ) (2020-03-28T05:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。