論文の概要: Bound by the Bounty: Collaboratively Shaping Evaluation Processes for Queer AI Harms

• arxiv url: http://arxiv.org/abs/2307.10223v1
• Date: Sat, 15 Jul 2023 00:49:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-23 11:18:01.550977
• Title: Bound by the Bounty: Collaboratively Shaping Evaluation Processes for Queer AI Harms
• Title（参考訳）: バウンティによるバウンディ:クイアAIハームの評価プロセスを協調的に形成する
• Authors: Organizers of QueerInAI, Nathan Dennler, Anaelia Ovalle, Ashwin Singh, Luca Soldaini, Arjun Subramonian, Huy Tu, William Agnew, Avijit Ghosh, Kyra Yee, Irene Font Peradejordi, Zeerak Talat, Mayra Russo, Jess de Jesus de Pinho Pinhal
• Abstract要約: 我々は、クイアコミュニティに対して、彼らの立場と、監査プロセスへの欲求について尋ねる。 我々は,批判的,偏見的な報奨金に関する参加ワークショップを開催した。 我々は、報奨金のコミュニティ所有を提唱し、報奨金を参加プロセスで補完することで締めくくる。
• 参考スコア（独自算出の注目度）: 14.872177285434999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bias evaluation benchmarks and dataset and model documentation have emerged as central processes for assessing the biases and harms of artificial intelligence (AI) systems. However, these auditing processes have been criticized for their failure to integrate the knowledge of marginalized communities and consider the power dynamics between auditors and the communities. Consequently, modes of bias evaluation have been proposed that engage impacted communities in identifying and assessing the harms of AI systems (e.g., bias bounties). Even so, asking what marginalized communities want from such auditing processes has been neglected. In this paper, we ask queer communities for their positions on, and desires from, auditing processes. To this end, we organized a participatory workshop to critique and redesign bias bounties from queer perspectives. We found that when given space, the scope of feedback from workshop participants goes far beyond what bias bounties afford, with participants questioning the ownership, incentives, and efficacy of bounties. We conclude by advocating for community ownership of bounties and complementing bounties with participatory processes (e.g., co-creation).
• Abstract（参考訳）: バイアス評価ベンチマークとデータセットとモデルドキュメンテーションは、人工知能(AI)システムのバイアスと害を評価する中心的なプロセスとして登場した。 しかし、これらの監査プロセスは、限界化されたコミュニティの知識の統合に失敗し、オーディエンスとコミュニティ間の力のダイナミクスを考慮しなかったことで批判されている。 その結果、AIシステム(例えばバイアス報奨金)の損害を特定し評価するコミュニティに影響を及ぼすバイアス評価のモードが提案されている。 それでも、こうした監査プロセスから疎外されたコミュニティが何を望むかを尋ねることは無視されている。 そこで本稿では,監査プロセスにおけるqueerコミュニティの立場と願望について質問する。 この目的のために,参加型ワークショップを組織し,クィアの観点からバイアス・バウンティの批判と再設計を行った。 スペースが与えられた場合、ワークショップ参加者からのフィードバックの範囲はバイアスバウンティが許容する範囲を超え、参加者はバウンティの所有権、インセンティブ、有効性に疑問を呈することが分かりました。 我々は、報奨金のコミュニティ所有を提唱し、報奨金の参加プロセス(例えば共同創造)を補完することで結論付ける。

関連論文リスト

• Provocation: Who benefits from "inclusion" in Generative AI? [3.3158518534707992]
  我々は、AI開発と評価におけるコミュニティ参加の圧倒的な構造は、社会的に疎外されたグループのメンバーが参加の結果として経験できる利益と害について十分に明示されていないと論じる。 この投機的コンテキストを使って、提案された利益を実現するために克服すべき障壁を整理し、害を軽減します。
  論文  参考訳（メタデータ） (2024-11-14T00:18:25Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• A Safe Harbor for AI Evaluation and Red Teaming [124.89885800509505]
  一部の研究者は、そのような研究の実施や研究成果の公表が、アカウント停止や法的報復につながることを恐れている。 我々は、主要なAI開発者が法的、技術的に安全な港を提供することを約束することを提案します。 これらのコミットメントは、ジェネレーティブAIのリスクに取り組むための、より包括的で意図しないコミュニティ努力への必要なステップである、と私たちは信じています。
  論文  参考訳（メタデータ） (2024-03-07T20:55:08Z)
• Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense Reasoning [85.1541170468617]
  本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。 提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
  論文  参考訳（メタデータ） (2022-08-23T14:42:14Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)
• Spatio-Temporal Graph Representation Learning for Fraudster Group Detection [50.779498955162644]
  企業は、偽レビューを書くために詐欺師グループを雇い、競合相手をデモしたり、自分のビジネスを宣伝したりすることができる。 そのようなグループを検出するには、詐欺師グループの静的ネットワークを表現するのが一般的なモデルである。 両レビュアーの表現学習におけるHIN-RNNの有効性を第一に活用することを提案する。
  論文  参考訳（メタデータ） (2022-01-07T08:01:38Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• Assessing Classifier Fairness with Collider Bias [0.0]
  我々は、コライダーバイアスを避けるために、公正性評価を導くための定理を開発する。 開発した定理を応用した非バイアス評価アルゴリズムを提案する。 実験とシミュレーションにより,提案アルゴリズムは評価においてコライダーバイアスを大幅に低減することを示した。
  論文  参考訳（メタデータ） (2020-10-08T12:41:02Z)
• Keeping Community in the Loop: Understanding Wikipedia Stakeholder Values for Machine Learning-Based Systems [14.808971334949119]
  我々は,ORES(Objective Revision Evaluation System)と呼ばれる,コミュニティが作成・維持する機械学習に基づくアルゴリズムを理解するために,価値感的アルゴリズム設計アプローチを採用する。 ORESは、多くのウィキペディアアプリケーションやコンテキストで使われている品質予測システムである。
  論文  参考訳（メタデータ） (2020-01-14T16:30:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。