論文の概要: Can Interpretability Layouts Influence Human Perception of Offensive Sentences?

• arxiv url: http://arxiv.org/abs/2403.05581v1
• Date: Fri, 1 Mar 2024 13:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 06:10:13.841287
• Title: Can Interpretability Layouts Influence Human Perception of Offensive Sentences?
• Title（参考訳）: 解釈可能性のレイアウトは攻撃文の人間の知覚に影響を及ぼすか?
• Authors: Thiago Freitas dos Santos, Nardine Osman, Marco Schorlemmer,
• Abstract要約: 本稿では、3つの機械学習(ML)の解釈可能性レイアウトが、ヘイトスピーチを含む文を評価する際の参加者の視点に影響を及ぼすかどうかを評価する。
• 参考スコア（独自算出の注目度）: 1.474723404975345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper conducts a user study to assess whether three machine learning (ML) interpretability layouts can influence participants' views when evaluating sentences containing hate speech, focusing on the "Misogyny" and "Racism" classes. Given the existence of divergent conclusions in the literature, we provide empirical evidence on using ML interpretability in online communities through statistical and qualitative analyses of questionnaire responses. The Generalized Additive Model estimates participants' ratings, incorporating within-subject and between-subject designs. While our statistical analysis indicates that none of the interpretability layouts significantly influences participants' views, our qualitative analysis demonstrates the advantages of ML interpretability: 1) triggering participants to provide corrective feedback in case of discrepancies between their views and the model, and 2) providing insights to evaluate a model's behavior beyond traditional performance metrics.
• Abstract（参考訳）: 本稿では,3つの機械学習(ML)の解釈可能性レイアウトが,ヘイトスピーチを含む文の評価において,「ミソジニー」と「ラキズム」のクラスに着目し,参加者の視点に影響を及ぼすか否かを評価する。 文献に散在する結論が存在することを踏まえ,質問応答の統計的・質的な分析を通じて,オンラインコミュニティにおけるML解釈可能性の利用に関する実証的証拠を提供する。 一般化付加モデル(Generalized Additive Model)は、参加者のレーティングを推定し、オブジェクト内およびオブジェクト間のデザインを取り入れている。 統計的分析では、どの解釈可能性レイアウトも参加者の見解に大きく影響しないが、定性的な分析はML解釈可能性の利点を示している。 1)観念とモデルに相違がある場合、参加者に是正的フィードバックを与えるよう促す。 2) 従来のパフォーマンス指標を超えてモデルの振る舞いを評価するための洞察を提供する。

関連論文リスト

• Fairness Evaluation with Item Response Theory [10.871079276188649]
  本稿では機械学習(ML)モデルにおける公平性を評価するための新しいFair-IRTフレームワークを提案する。 項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。 公平性評価ツールとしてのこのフレームワークの有効性を実証する実験を行った。
  論文  参考訳（メタデータ） (2024-10-20T22:25:20Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• FairBelief - Assessing Harmful Beliefs in Language Models [25.032952666134157]
  言語モデル(LM)は、マイノリティを損なう可能性のある望ましくない偏見を継承することが示されている。 本論文は,信仰を捉え,評価するための分析的アプローチであるFairBeliefを提案する。
  論文  参考訳（メタデータ） (2024-02-27T10:31:00Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Towards Fair and Explainable AI using a Human-Centered AI Approach [5.888646114353372]
  分類システムと単語埋め込みにおける説明可能性と公平性の向上を目的とした5つの研究プロジェクトについて述べる。 最初のプロジェクトは、ローカルモデル説明を機械教師のインタフェースとして導入するユーティリティ/ダウンサイドについて検討する。 第二のプロジェクトは、因果性に基づくヒューマン・イン・ザ・ループ視覚ツールであるD-BIASを紹介し、データセットの社会的バイアスを特定し緩和する。 第3のプロジェクトは、グループに対するバイアスに対するトレーニング済みの静的単語埋め込みの監査を支援する、ビジュアルインタラクティブツールであるWordBiasを提示する。 4番目のプロジェクトは、ソーシャルを識別するビジュアル分析ツールDramatVis Personae
  論文  参考訳（メタデータ） (2023-06-12T21:08:55Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)
• Evaluation Gaps in Machine Learning Practice [13.963766987258161]
  実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。 評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。 これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
  論文  参考訳（メタデータ） (2022-05-11T04:00:44Z)
• Under the Microscope: Interpreting Readability Assessment Models for Filipino [0.0]
  フィリピンにおける機械学習に基づく可読性評価モデルを,グローバルモデルとローカルモデルによる解釈によって識別する。 その結果,大域的解釈から上位特徴を学習したモデルを用いることで,スピアマン相関による特徴を用いたモデルよりも高い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-01T01:27:10Z)
• On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
  ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。 これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。 これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
  論文  参考訳（メタデータ） (2021-04-18T09:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。