論文の概要: Understanding Practices, Challenges, and Opportunities for User-Driven
Algorithm Auditing in Industry Practice
- arxiv url: http://arxiv.org/abs/2210.03709v1
- Date: Fri, 7 Oct 2022 17:25:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 13:35:36.084617
- Title: Understanding Practices, Challenges, and Opportunities for User-Driven
Algorithm Auditing in Industry Practice
- Title（参考訳）: 産業実践におけるユーザ駆動型アルゴリズム監査のプラクティス,課題,機会の理解
- Authors: Wesley Hanwen Deng, Bill Boyuan Guo, Alicia Devos, Hong Shen,
Motahhare Eslami, Kenneth Holstein
- Abstract要約: ユーザ主導の監査アプローチを実践する実践者に対して,一連のインタビューを実施している。
本研究は,ユーザオーディエンスを適切に採用し,インセンティブを得る上で,実践者が直面するいくつかの課題を明らかにするものである。
実践者は、ユーザ主導の監査に対する組織的な障害を共有し、実践者とユーザ監査人の複雑な関係を克服した。
- 参考スコア（独自算出の注目度）: 7.133565222618257
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have seen growing interest among both researchers and
practitioners in user-driven approaches to algorithm auditing, which directly
engage users in detecting problematic behaviors in algorithmic systems.
However, we know little about industry practitioners' current practices and
challenges around user-driven auditing, nor what opportunities exist for them
to better leverage such approaches in practice. To investigate, we conducted a
series of interviews and iterative co-design activities with practitioners who
employ user-driven auditing approaches in their work. Our findings reveal
several challenges practitioners face in appropriately recruiting and
incentivizing user auditors, scaffolding user audits, and deriving actionable
insights from user-driven audit reports. Furthermore, practitioners shared
organizational obstacles to user-driven auditing, surfacing a complex
relationship between practitioners and user auditors. Based on these findings,
we discuss opportunities for future HCI research to help realize the potential
(and mitigate risks) of user-driven auditing in industry practice.
- Abstract（参考訳）: 近年,アルゴリズムシステムにおける問題行動の検出にユーザが直接関与するアルゴリズム監査に対する,ユーザ主導のアプローチに対する研究者と実践者の双方の関心が高まっている。
しかしながら、ユーザ主導の監査に関する業界実践者の現在のプラクティスや課題、あるいはそのようなアプローチをよりうまく活用する機会についてはほとんど分かっていません。
本研究では,ユーザ主導の監査アプローチを実践する実践者を対象に,一連のインタビューと反復的共同設計活動を行った。
調査の結果,ユーザ監査を適切に採用し,インセンティブを得る上で,実践者が直面する課題がいくつか明らかになった。
さらに、実践者は、ユーザ主導の監査に対する組織的障害を共有し、実践者とユーザ監査者との複雑な関係を浮き彫りにした。
これらの知見に基づいて,今後のHCI研究の機会を議論し,産業実践におけるユーザ主導監査の可能性(およびリスク軽減)を実現する。
関連論文リスト
- From Transparency to Accountability and Back: A Discussion of Access and Evidence in AI Auditing [1.196505602609637]
監査は、デプロイ前のリスクアセスメント、進行中の監視、コンプライアンステストなど、さまざまな形式で実施することができる。
AI監査には、その実装を複雑にする多くの運用上の課題がある。
我々は、監査は自然な仮説テストとして、並列仮説テストと法的手続きを引き出すことができると論じ、このフレーミングは、監査実施に関する明確かつ解釈可能なガイダンスを提供すると論じる。
論文 参考訳（メタデータ） (2024-10-07T06:15:46Z) - Interactive Counterfactual Exploration of Algorithmic Harms in Recommender Systems [3.990406494980651]
本研究では,レコメンデーションシステムにおけるアルゴリズム的害の影響を理解し,探索するための対話型ツールを提案する。
視覚化、反事実的説明、インタラクティブなモジュールを活用することで、ユーザは誤校正などのバイアスがレコメンデーションにどのように影響するかを調査できる。
論文 参考訳（メタデータ） (2024-09-10T23:58:27Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - A Framework for Assurance Audits of Algorithmic Systems [2.2342503377379725]
本稿では,運用可能なコンプライアンスおよび保証外部監査フレームワークとして,基準監査を提案する。
AI監査も同様に、AI組織が人間の価値を害し、維持する方法でアルゴリズムを管理する能力について、ステークホルダーに保証を提供するべきだ、と私たちは主張する。
我々は、より成熟した金融監査産業の実践をAI監査に適用する上でのメリット、固有の制限、実装上の課題について、批判的な議論をすることで締めくくります。
論文 参考訳（メタデータ） (2024-01-26T14:38:54Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳（メタデータ） (2023-10-19T02:12:17Z) - Online Corrupted User Detection and Regret Minimization [49.536254494829436]
現実世界のオンラインウェブシステムでは、複数のユーザがシステムに順次到着する。
乱れた行動から未知のユーザ関係を学習・活用するために,LOCUDという重要なオンライン学習問題を提案する。
我々はRCLUB-WCUの推測ユーザ関係に基づく新しいオンライン検出アルゴリズムOCCUDを考案した。
論文 参考訳（メタデータ） (2023-10-07T10:20:26Z) - Who Audits the Auditors? Recommendations from a field scan of the
algorithmic auditing ecosystem [0.971392598996499]
AI監査エコシステムの最初の包括的なフィールドスキャンを提供する。
私たちは、新たなベストプラクティスと、一般的になりつつある方法やツールを特定します。
これらの監査の質と影響を改善するための政策勧告を概説する。
論文 参考訳（メタデータ） (2023-10-04T01:40:03Z) - Explainable Predictive Process Monitoring: A User Evaluation [62.41400549499849]
説明責任は、ブラックボックス機械学習アプローチの透明性の欠如によって動機付けられている。
予測プロセスモニタリングのための説明手法のユーザ評価を行う。
論文 参考訳（メタデータ） (2022-02-15T22:24:21Z) - Detecting and Quantifying Malicious Activity with Simulation-based
Inference [61.9008166652035]
本稿では,レコメンデーションアルゴリズムと相互作用する正規および悪意のあるユーザのモデルを用いて,悪意のあるユーザ識別実験を行う。
本稿では,ユーザやグループの影響を定量化するためのシミュレーションに基づく新しい尺度を提案する。
論文 参考訳（メタデータ） (2021-10-06T03:39:24Z) - Everyday algorithm auditing: Understanding the power of everyday users
in surfacing harmful algorithmic behaviors [8.360589318502816]
本稿では,日常的なアルゴリズム監査の概念について検討し,問題のあるマシンの動作を検出し,理解し,疑問を呈するプロセスを提案する。
日常のユーザは、より集中的に組織された監査形態による検知を不要にする問題のあるマシン行動に直面するのに強力である、と我々は主張する。
論文 参考訳（メタデータ） (2021-05-06T21:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。