論文の概要: Independent Ethical Assessment of Text Classification Models: A Hate Speech Detection Case Study

• arxiv url: http://arxiv.org/abs/2108.07627v1
• Date: Mon, 19 Jul 2021 23:03:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-22 17:24:07.635664
• Title: Independent Ethical Assessment of Text Classification Models: A Hate Speech Detection Case Study
• Title（参考訳）: テキスト分類モデルの独立した倫理的評価:ヘイトスピーチ検出ケーススタディ
• Authors: Amitoj Singh, Jingshu Chen, Lihao Zhang, Amin Rasekh, Ilana Golbin, Anand Rao
• Abstract要約: 人工知能システムの独立した倫理的評価は、倫理的価値に合わせてシステムの発達、展開、使用を公平に検証するものである。 本研究は、このギャップを埋め、ヘイトスピーチ検出の課題に特化して、テキスト分類モデルの総合的な独立した倫理的評価プロセスを設計する。
• 参考スコア（独自算出の注目度）: 0.5541644538483947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An independent ethical assessment of an artificial intelligence system is an impartial examination of the system's development, deployment, and use in alignment with ethical values. System-level qualitative frameworks that describe high-level requirements and component-level quantitative metrics that measure individual ethical dimensions have been developed over the past few years. However, there exists a gap between the two, which hinders the execution of independent ethical assessments in practice. This study bridges this gap and designs a holistic independent ethical assessment process for a text classification model with a special focus on the task of hate speech detection. The assessment is further augmented with protected attributes mining and counterfactual-based analysis to enhance bias assessment. It covers assessments of technical performance, data bias, embedding bias, classification bias, and interpretability. The proposed process is demonstrated through an assessment of a deep hate speech detection model.
• Abstract（参考訳）: 人工知能システムの独立した倫理的評価は、倫理的価値に合わせてシステムの発達、展開、使用を公平に検証するものである。 個々の倫理的次元を測定する高レベルの要件とコンポーネントレベルのメトリクスを記述したシステムレベルの定性的なフレームワークは、ここ数年で開発されてきた。 しかし、両者の間にはギャップがあり、実際には独立した倫理的評価の実行を妨げる。 本研究は,このギャップを橋渡しし,ヘイトスピーチ検出のタスクに着目したテキスト分類モデルのための総合的独立倫理評価プロセスをデザインする。 この評価は、バイアス評価を強化するために、保護属性のマイニングと反ファクトベースの分析によってさらに強化される。 技術的なパフォーマンス、データバイアス、埋め込みバイアス、分類バイアス、解釈可能性の評価を扱っている。 提案手法は, ディープヘイト音声検出モデルの評価によって実証される。

関連論文リスト

• Performance evaluation of Reddit Comments using Machine Learning and Natural Language Processing methods in Sentiment Analysis [0.764671395172401]
  我々は、Reddit上で58,000のコメントを寄せ集め、感情分析手法を評価した。 我々の研究は、様々なモデルの配列を評価することによって、範囲を広げる。 以上の結果から,RoBERTaモデルはベースラインモデルよりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-27T03:59:28Z)
• A Comprehensive Rubric for Annotating Pathological Speech [0.0]
  音声学, 流音学, 韻律学など, 音声品質の様々な側面に基づく包括的ルーリックを導入する。 本研究の目的は,ダウン症候群患者の発話中の誤りを識別するための標準化基準を確立することである。
  論文  参考訳（メタデータ） (2024-04-29T16:44:27Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• Evaluation Gaps in Machine Learning Practice [13.963766987258161]
  実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。 評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。 これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
  論文  参考訳（メタデータ） (2022-05-11T04:00:44Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
  本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。 具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。 大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
  論文  参考訳（メタデータ） (2021-03-07T03:10:32Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Fairness Evaluation in Presence of Biased Noisy Labels [84.12514975093826]
  本稿では,グループ間の雑音の仮定がリスク評価モデルの予測バイアス特性に与える影響を評価するための感度分析フレームワークを提案する。 2つの実世界の刑事司法データセットに関する実験結果は、観測されたラベルの小さなバイアスでさえ、ノイズのある結果に基づく分析結果の結論に疑問を投げかけることができることを示している。
  論文  参考訳（メタデータ） (2020-03-30T20:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。