論文の概要: A Study of Fairness Concerns in AI-based Mobile App Reviews
- arxiv url: http://arxiv.org/abs/2401.08097v1
- Date: Tue, 16 Jan 2024 03:43:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 15:16:12.404336
- Title: A Study of Fairness Concerns in AI-based Mobile App Reviews
- Title（参考訳）: AIに基づくモバイルアプリレビューにおける公平性に関する考察
- Authors: Ali Rezaei Nasab, Maedeh Dashti, Mojtaba Shahin, Mansooreh Zahedi,
Hourieh Khalajzadeh, Chetan Arora, Peng Liang
- Abstract要約: フェアネスは、AIベースのシステムで対処しなければならない社会技術的懸念の1つである。
不正なAIベースのシステム、特に不公平なAIベースのモバイルアプリは、世界の人口のかなりの割合で困難を引き起こす可能性がある。
本稿では、AIベースのアプリレビューにおける公平性に関する懸念を深く分析することを目的としている。
- 参考スコア（独自算出の注目度）: 10.446921468117424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the growing application of AI-based systems in our lives and society,
there is a rising need to ensure that AI-based systems are developed and used
in a responsible way. Fairness is one of the socio-technical concerns that must
be addressed in AI-based systems for this purpose. Unfair AI-based systems,
particularly, unfair AI-based mobile apps, can pose difficulties for a
significant proportion of the global populace. This paper aims to deeply
analyze fairness concerns in AI-based app reviews. We first manually
constructed a ground-truth dataset including a statistical sample of fairness
and non-fairness reviews. Leveraging the ground-truth dataset, we then
developed and evaluated a set of machine learning and deep learning classifiers
that distinguish fairness reviews from non-fairness reviews. Our experiments
show that our best-performing classifier can detect fairness reviews with a
precision of 94%. We then applied the best-performing classifier on
approximately 9.5M reviews collected from 108 AI-based apps and identified
around 92K fairness reviews. While the fairness reviews appear in 23 app
categories, we found that the 'communication' and 'social' app categories have
the highest percentage of fairness reviews. Next, applying the K-means
clustering technique to the 92K fairness reviews, followed by manual analysis,
led to the identification of six distinct types of fairness concerns (e.g.,
'receiving different quality of features and services in different platforms
and devices' and 'lack of transparency and fairness in dealing with
user-generated content'). Finally, the manual analysis of 2,248 app owners'
responses to the fairness reviews identified six root causes (e.g., 'copyright
issues', 'external factors', 'development cost') that app owners report to
justify fairness concerns.
- Abstract（参考訳）: AIベースのシステムが私たちの生活や社会に浸透するにつれ、AIベースのシステムが開発され、責任ある方法で使用されることを保証する必要性が高まっています。
フェアネスは、この目的のためにAIベースのシステムで対処しなければならない社会技術的懸念の1つである。
不正なAIベースのシステム、特に不公平なAIベースのモバイルアプリは、世界の人口のかなりの割合で困難を引き起こす可能性がある。
本稿では,AIベースのアプリレビューにおける公平性の懸念を深く分析することを目的とする。
まず,フェアネスと非フェアネス評価の統計的サンプルを含む地上データセットを手作業で構築した。
そこで,本研究では,Fairnessレビューと非Fairnessレビューを区別する機械学習およびディープラーニング分類器の開発と評価を行った。
実験の結果,最善の分類器は94%の精度で公平性評価を検出できることがわかった。
次に、AIベースの108のアプリから収集された約950万のレビューに対して、最高のパフォーマンスの分類器を適用し、92万のフェアネスレビューを特定した。
フェアネスレビューは23のアプリカテゴリに表示されるが、"コミュニケーション"と"ソーシャル"アプリカテゴリはフェアネスレビューの比率が最も高いことがわかった。
次に,92kのフェアネス評価にk-meansクラスタリング手法を適用し,手作業による分析を行い,6種類のフェアネス問題(「異なるプラットフォームやデバイスにおける機能やサービスの異なる品質の認識」や「ユーザ生成コンテンツを扱う際の透明性とフェアネスの欠如」など)を特定した。
最後に、フェアネスレビューに対する2,248人のアプリオーナーの回答を手動で分析した結果、6つの根本原因(例えば、"copyright issues"、"external factors"、"development cost")が判明した。
関連論文リスト
- Exploring Requirements Elicitation from App Store User Reviews Using Large Language Models [0.0]
本研究は,大規模言語モデルのパワーを活用して,ユーザレビューの分析を行い,自動要求の導出を行うアプローチを提案する。
有用性を示すようにラベル付けされたアプリレビューのデータセット上に,確立された3つのLMM BERT, DistilBERT, GEMMAを微調整した。
評価の結果、BERTの精度は92.40%、F1スコアは92.39%であり、有用レビューを正確に分類する効果が示された。
論文 参考訳（メタデータ） (2024-09-23T18:57:31Z) - A Benchmark for Fairness-Aware Graph Learning [58.515305543487386]
本稿では,10の代表的な公正性を考慮したグラフ学習手法に関する広範なベンチマークを示す。
我々の詳細な分析は、既存の手法の強みと限界に関する重要な洞察を明らかにしている。
論文 参考訳（メタデータ） (2024-07-16T18:43:43Z) - A First Look at Fairness of Machine Learning Based Code Reviewer
Recommendation [14.50773969815661]
本稿では,ソフトウェア工学(SE)分野におけるMLアプリケーションの公平性に関する最初の研究を行う。
我々の実証研究は、現在最先端のMLベースのコードレビュアーレコメンデーション技術が不公平で差別的な行動を示すことを示している。
本稿では,MLベースのコードレビュアレコメンデーションシステムが不公平である理由についても論じ,不公平を緩和するための解決策を提供する。
論文 参考訳（メタデータ） (2023-07-21T01:57:51Z) - Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。
カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。
本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
論文 参考訳（メタデータ） (2023-07-17T04:08:29Z) - Proactive Prioritization of App Issues via Contrastive Learning [2.6763498831034043]
本稿では,アプリの問題を積極的に優先順位付けする新しいフレームワークPPriorを提案する。
PPriorはトレーニング済みのT5モデルを採用し、3段階で動作する。
フェーズ1は、事前訓練されたT5モデルを、セルフ教師された方法でユーザレビューデータに適用する。
第2フェーズでは、コントラストトレーニングを活用して、ユーザレビューの汎用的かつタスクに依存しない表現を学習する。
論文 参考訳（メタデータ） (2023-03-12T06:23:10Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Towards a Fair Comparison and Realistic Design and Evaluation Framework
of Android Malware Detectors [63.75363908696257]
一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。
データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。
その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
論文 参考訳（メタデータ） (2022-05-25T08:28:08Z) - Erasing Labor with Labor: Dark Patterns and Lockstep Behaviors on Google
Play [13.658284581863839]
Google Playのポリシーは、アプリの配置を操作するためのインセンティブ付きインストール、評価、レビューの使用を禁止している。
社会技術レンズによるインストールインセンティブアプリについて検討し、レビューとパーミッションの混合メソッド分析を行う。
私たちのデータセットには、60以上のアプリから5ヶ月以上にわたって収集された319万のレビューが含まれています。
インストールインセンティブのアプリに対する不正なレビューの証拠を見つけ、それに続いて、アプリとレビュアーの動的二部グラフのエッジストリームとしてモデル化します。
論文 参考訳（メタデータ） (2022-02-09T16:54:27Z) - DAPPER: Label-Free Performance Estimation after Personalization for
Heterogeneous Mobile Sensing [95.18236298557721]
DAPPER(Domain AdaPtation Performance EstimatoR)を提案する。
実世界の6つのベースラインと比較した4つのセンシングデータセットによる評価の結果,DAPPERの精度は39.8%向上した。
論文 参考訳（メタデータ） (2021-11-22T08:49:33Z) - Emerging App Issue Identification via Online Joint Sentiment-Topic
Tracing [66.57888248681303]
本稿では,MERITという新しい問題検出手法を提案する。
AOBSTモデルに基づいて、1つのアプリバージョンに対するユーザレビューに否定的に反映されたトピックを推測する。
Google PlayやAppleのApp Storeで人気のアプリに対する実験は、MERITの有効性を実証している。
論文 参考訳（メタデータ） (2020-08-23T06:34:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。