論文の概要: Fairness Concerns in App Reviews: A Study on AI-based Mobile Apps
- arxiv url: http://arxiv.org/abs/2401.08097v4
- Date: Wed, 31 Jul 2024 14:45:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-02 14:34:15.661613
- Title: Fairness Concerns in App Reviews: A Study on AI-based Mobile Apps
- Title（参考訳）: アプリレビューの公平性に関する懸念:AIベースのモバイルアプリに関する研究
- Authors: Ali Rezaei Nasab, Maedeh Dashti, Mojtaba Shahin, Mansooreh Zahedi, Hourieh Khalajzadeh, Chetan Arora, Peng Liang,
- Abstract要約: 本研究は,モバイルアプリレビューにおける公平性の懸念を調査することを目的としている。
我々の研究は、AIベースのモバイルアプリレビューに焦点を当てており、AIベースのアプリの不公平な振る舞いや結果が非AIベースのアプリよりも高い可能性がある。
- 参考スコア（独自算出の注目度）: 9.948068408730654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fairness is one of the socio-technical concerns that must be addressed in software systems. Considering the popularity of mobile software applications (apps) among a wide range of individuals worldwide, mobile apps with unfair behaviors and outcomes can affect a significant proportion of the global population, potentially more than any other type of software system. Users express a wide range of socio-technical concerns in mobile app reviews. This research aims to investigate fairness concerns raised in mobile app reviews. Our research focuses on AI-based mobile app reviews as the chance of unfair behaviors and outcomes in AI-based mobile apps may be higher than in non-AI-based apps. To this end, we first manually constructed a ground-truth dataset, including 1,132 fairness and 1,473 non-fairness reviews. Leveraging the ground-truth dataset, we developed and evaluated a set of machine learning and deep learning models that distinguish fairness reviews from non-fairness reviews. Our experiments show that our best-performing model can detect fairness reviews with a precision of 94%. We then applied the best-performing model on approximately 9.5M reviews collected from 108 AI-based apps and identified around 92K fairness reviews. Next, applying the K-means clustering technique to the 92K fairness reviews, followed by manual analysis, led to the identification of six distinct types of fairness concerns (e.g., 'receiving different quality of features and services in different platforms and devices' and 'lack of transparency and fairness in dealing with user-generated content'). Finally, the manual analysis of 2,248 app owners' responses to the fairness reviews identified six root causes (e.g., 'copyright issues') that app owners report to justify fairness concerns.
- Abstract（参考訳）: 公平さは、ソフトウェアシステムで対処しなければならない社会技術的懸念の1つです。
世界中の幅広い個人の間でモバイルソフトウェアアプリケーション(アプリケーション)の人気を考えると、不公平な振る舞いと結果を持つモバイルアプリは、世界の人口のかなりの割合、おそらく他のタイプのソフトウェアシステムよりも影響を受けうる。
ユーザは、モバイルアプリレビューで幅広い社会技術的懸念を表明している。
本研究は,モバイルアプリレビューにおける公平性の懸念を調査することを目的としている。
我々の研究は、AIベースのモバイルアプリにおける不公平な振る舞いや結果の機会として、AIベースのモバイルアプリレビューに焦点を当てている。
この目的のために、我々はまず1,132フェアネスと1,473ノンフェアネスレビューを含む、地中真実のデータセットを手作業で構築した。
基礎構造データセットを活用して、フェアネスレビューとフェアネスレビューを区別する機械学習モデルとディープラーニングモデルを開発し、評価した。
実験の結果, ベストパフォーマンスモデルでは, 94%の精度でフェアネスレビューを検出できることがわかった。
次に、AIベースの108のアプリから収集された約950万のレビューに対して、最高のパフォーマンスモデルを適用し、92万のフェアネスレビューを特定しました。
次に、92KフェアネスレビューにK-meansクラスタリング技術を適用し、それに続いて手動分析により、6種類のフェアネス関心事(例えば、"異なるプラットフォームやデバイスにおける機能やサービスの異なる品質を知覚する"、"ユーザ生成コンテンツを扱う上で透明性とフェアネスの欠如")を識別した。
最後に、フェアネスレビューに対する2,248人のアプリオーナーの回答のマニュアル分析では、アプリオーナーがフェアネスの懸念を正当化するために報告する6つの根本原因(例:「コピーライト問題」)を特定した。
関連論文リスト
- Exploring Requirements Elicitation from App Store User Reviews Using Large Language Models [0.0]
本研究は,大規模言語モデルのパワーを活用して,ユーザレビューの分析を行い,自動要求の導出を行うアプローチを提案する。
有用性を示すようにラベル付けされたアプリレビューのデータセット上に,確立された3つのLMM BERT, DistilBERT, GEMMAを微調整した。
評価の結果、BERTの精度は92.40%、F1スコアは92.39%であり、有用レビューを正確に分類する効果が示された。
論文 参考訳（メタデータ） (2024-09-23T18:57:31Z) - A Benchmark for Fairness-Aware Graph Learning [58.515305543487386]
本稿では,10の代表的な公正性を考慮したグラフ学習手法に関する広範なベンチマークを示す。
我々の詳細な分析は、既存の手法の強みと限界に関する重要な洞察を明らかにしている。
論文 参考訳（メタデータ） (2024-07-16T18:43:43Z) - A First Look at Fairness of Machine Learning Based Code Reviewer
Recommendation [14.50773969815661]
本稿では,ソフトウェア工学(SE)分野におけるMLアプリケーションの公平性に関する最初の研究を行う。
我々の実証研究は、現在最先端のMLベースのコードレビュアーレコメンデーション技術が不公平で差別的な行動を示すことを示している。
本稿では,MLベースのコードレビュアレコメンデーションシステムが不公平である理由についても論じ,不公平を緩和するための解決策を提供する。
論文 参考訳（メタデータ） (2023-07-21T01:57:51Z) - Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。
カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。
本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
論文 参考訳（メタデータ） (2023-07-17T04:08:29Z) - Proactive Prioritization of App Issues via Contrastive Learning [2.6763498831034043]
本稿では,アプリの問題を積極的に優先順位付けする新しいフレームワークPPriorを提案する。
PPriorはトレーニング済みのT5モデルを採用し、3段階で動作する。
フェーズ1は、事前訓練されたT5モデルを、セルフ教師された方法でユーザレビューデータに適用する。
第2フェーズでは、コントラストトレーニングを活用して、ユーザレビューの汎用的かつタスクに依存しない表現を学習する。
論文 参考訳（メタデータ） (2023-03-12T06:23:10Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Towards a Fair Comparison and Realistic Design and Evaluation Framework
of Android Malware Detectors [63.75363908696257]
一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。
データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。
その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
論文 参考訳（メタデータ） (2022-05-25T08:28:08Z) - Erasing Labor with Labor: Dark Patterns and Lockstep Behaviors on Google
Play [13.658284581863839]
Google Playのポリシーは、アプリの配置を操作するためのインセンティブ付きインストール、評価、レビューの使用を禁止している。
社会技術レンズによるインストールインセンティブアプリについて検討し、レビューとパーミッションの混合メソッド分析を行う。
私たちのデータセットには、60以上のアプリから5ヶ月以上にわたって収集された319万のレビューが含まれています。
インストールインセンティブのアプリに対する不正なレビューの証拠を見つけ、それに続いて、アプリとレビュアーの動的二部グラフのエッジストリームとしてモデル化します。
論文 参考訳（メタデータ） (2022-02-09T16:54:27Z) - DAPPER: Label-Free Performance Estimation after Personalization for
Heterogeneous Mobile Sensing [95.18236298557721]
DAPPER(Domain AdaPtation Performance EstimatoR)を提案する。
実世界の6つのベースラインと比較した4つのセンシングデータセットによる評価の結果,DAPPERの精度は39.8%向上した。
論文 参考訳（メタデータ） (2021-11-22T08:49:33Z) - Emerging App Issue Identification via Online Joint Sentiment-Topic
Tracing [66.57888248681303]
本稿では,MERITという新しい問題検出手法を提案する。
AOBSTモデルに基づいて、1つのアプリバージョンに対するユーザレビューに否定的に反映されたトピックを推測する。
Google PlayやAppleのApp Storeで人気のアプリに対する実験は、MERITの有効性を実証している。
論文 参考訳（メタデータ） (2020-08-23T06:34:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。