論文の概要: A Framework to Assess (Dis)agreement Among Diverse Rater Groups

• arxiv url: http://arxiv.org/abs/2311.05074v1
• Date: Thu, 9 Nov 2023 00:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:32:26.227377
• Title: A Framework to Assess (Dis)agreement Among Diverse Rater Groups
• Title（参考訳）: 異種ラタグループ間の(離散的な)認識を評価する枠組み
• Authors: Vinodkumar Prabhakaran, Christopher Homan, Lora Aroyo, Alicia Parrish, Alex Taylor, Mark D\'iaz, Ding Wang
• Abstract要約: 本研究では,異なるレーダサブグループ間の視点において,系統的な多様性を測定するための総合的不一致分析フレームワークを提案する。 分析の結果,他のものよりも多様な視点を持つ特定のレーダ群が明らかとなり,安全アノテーションを検討する上で重要な人口動態軸が示唆された。
• 参考スコア（独自算出の注目度）: 19.33317910796263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in conversational AI have created an urgent need for safety guardrails that prevent users from being exposed to offensive and dangerous content. Much of this work relies on human ratings and feedback, but does not account for the fact that perceptions of offense and safety are inherently subjective and that there may be systematic disagreements between raters that align with their socio-demographic identities. Instead, current machine learning approaches largely ignore rater subjectivity and use gold standards that obscure disagreements (e.g., through majority voting). In order to better understand the socio-cultural leanings of such tasks, we propose a comprehensive disagreement analysis framework to measure systematic diversity in perspectives among different rater subgroups. We then demonstrate its utility by applying this framework to a dataset of human-chatbot conversations rated by a demographically diverse pool of raters. Our analysis reveals specific rater groups that have more diverse perspectives than the rest, and informs demographic axes that are crucial to consider for safety annotations.
• Abstract（参考訳）: 会話型AIの最近の進歩は、ユーザーが攻撃的で危険なコンテンツに晒されることを防ぐための、緊急の安全ガードレールの必要性を生み出している。 この研究の多くは人間の格付けとフィードバックに依存しているが、犯罪と安全の認識は本質的に主観的であり、社会デミックのアイデンティティに合致する格付け者の間に系統的な不一致があるという事実は考慮されていない。 代わりに、現在の機械学習のアプローチは、レートの主観性をほとんど無視し、不一致(多数決など)を曖昧にするゴールド標準を使用する。 これらの課題の社会的文化的傾向をよりよく理解するために,異なるレートラー群間の視点における系統的多様性を測定するための包括的不一致分析フレームワークを提案する。 次に、人口統計学的に多様なラッカーのプールによって評価された人間とチャットボットの会話のデータセットにこのフレームワークを適用することで、その実用性を実証する。 本研究は,他よりも多様な視点を持つ特定のパーサー群を明らかにし,安全アノテーションを考慮すべき要因を人口統計学的軸に知らせる。

関連論文リスト

• Overview of PerpectiveArg2024: The First Shared Task on Perspective Argument Retrieval [56.66761232081188]
  本稿では,社会における少数派・多数派を代表する年齢,性別,政治的態度など,人口・社会文化(社会)の多様性を包括する新しいデータセットを提案する。 パースペクティビズムを取り入れる上での重大な課題は、特に社会的なプロファイルを明示的に提供せずに、議論のテキストのみに基づくパーソナライズを目指す場合である。 パーソナライズと分極の低減を図るため, パーソナライズを最適化するためには, パーソナライズされた論証検索をブートストラップするが, さらなる研究が不可欠である。
  論文  参考訳（メタデータ） (2024-07-29T03:14:57Z)
• An Empirical Analysis of Diversity in Argument Summarization [4.128725138940779]
  多様性の側面として,意見,注釈,情報源の3つを紹介する。 我々は、キーポイント分析と呼ばれる一般的な議論要約タスクへのアプローチを評価する。
  論文  参考訳（メタデータ） (2024-02-02T16:26:52Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• Modeling subjectivity (by Mimicking Annotator Annotation) in toxic comment identification across diverse communities [3.0284081180864675]
  本研究は, 定量的解析を用いて, 注釈の相違点から直感的な相違点を同定することを目的とする。 また、トレーニングデータのサイズによって、毒性に関する様々な視点を模倣するモデルの能力についても評価する。 主観性は全アノテータ群で明らかであり,多数決投票の欠点を実証している。
  論文  参考訳（メタデータ） (2023-11-01T00:17:11Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Is Attention Interpretation? A Quantitative Assessment On Sets [0.0]
  集合機械学習の文脈における注意の解釈可能性について検討する。 注意分布は、個々のインスタンスの相対的な重要性を反映していることが多い。 我々は、注意に基づく説明を誤解させるリスクを最小限に抑えるためにアンサンブルを使うことを提案する。
  論文  参考訳（メタデータ） (2022-07-26T16:25:38Z)
• Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks [95.29345070102045]
  本稿では,ダイアログの安全性問題に対する社会的バイアス検出に焦点をあてる。 まず,会話における社会的バイアスを現実的に分析する新しいダイアルバイアスフレームを提案する。 中国初の社会バイアスダイアログデータセットであるCDail-Biasデータセットを紹介する。
  論文  参考訳（メタデータ） (2022-02-16T11:59:29Z)
• Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning [91.58529629419135]
  我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。 本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
  論文  参考訳（メタデータ） (2020-10-27T18:41:49Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。