論文の概要: A Framework to Assess (Dis)agreement Among Diverse Rater Groups

• arxiv url: http://arxiv.org/abs/2311.05074v1
• Date: Thu, 9 Nov 2023 00:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:32:26.227377
• Title: A Framework to Assess (Dis)agreement Among Diverse Rater Groups
• Title（参考訳）: 異種ラタグループ間の(離散的な)認識を評価する枠組み
• Authors: Vinodkumar Prabhakaran, Christopher Homan, Lora Aroyo, Alicia Parrish, Alex Taylor, Mark D\'iaz, Ding Wang
• Abstract要約: 本研究では,異なるレーダサブグループ間の視点において,系統的な多様性を測定するための総合的不一致分析フレームワークを提案する。 分析の結果,他のものよりも多様な視点を持つ特定のレーダ群が明らかとなり,安全アノテーションを検討する上で重要な人口動態軸が示唆された。
• 参考スコア（独自算出の注目度）: 19.33317910796263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in conversational AI have created an urgent need for safety guardrails that prevent users from being exposed to offensive and dangerous content. Much of this work relies on human ratings and feedback, but does not account for the fact that perceptions of offense and safety are inherently subjective and that there may be systematic disagreements between raters that align with their socio-demographic identities. Instead, current machine learning approaches largely ignore rater subjectivity and use gold standards that obscure disagreements (e.g., through majority voting). In order to better understand the socio-cultural leanings of such tasks, we propose a comprehensive disagreement analysis framework to measure systematic diversity in perspectives among different rater subgroups. We then demonstrate its utility by applying this framework to a dataset of human-chatbot conversations rated by a demographically diverse pool of raters. Our analysis reveals specific rater groups that have more diverse perspectives than the rest, and informs demographic axes that are crucial to consider for safety annotations.
• Abstract（参考訳）: 会話型AIの最近の進歩は、ユーザーが攻撃的で危険なコンテンツに晒されることを防ぐための、緊急の安全ガードレールの必要性を生み出している。 この研究の多くは人間の格付けとフィードバックに依存しているが、犯罪と安全の認識は本質的に主観的であり、社会デミックのアイデンティティに合致する格付け者の間に系統的な不一致があるという事実は考慮されていない。 代わりに、現在の機械学習のアプローチは、レートの主観性をほとんど無視し、不一致(多数決など)を曖昧にするゴールド標準を使用する。 これらの課題の社会的文化的傾向をよりよく理解するために,異なるレートラー群間の視点における系統的多様性を測定するための包括的不一致分析フレームワークを提案する。 次に、人口統計学的に多様なラッカーのプールによって評価された人間とチャットボットの会話のデータセットにこのフレームワークを適用することで、その実用性を実証する。 本研究は,他よりも多様な視点を持つ特定のパーサー群を明らかにし,安全アノテーションを考慮すべき要因を人口統計学的軸に知らせる。

関連論文リスト

• A Comprehensive Framework to Operationalize Social Stereotypes for Responsible AI Evaluations [15.381034360289899]
  社会的なステレオタイプは、責任あるAI介入の無数の中心にある。 生成AI評価におけるステレオタイプを運用するための統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-03T19:39:48Z)
• The Superalignment of Superhuman Intelligence with Large Language Models [63.96120398355404]
  我々は,この疑問に答えるために,学習の観点からスーパーアライメントの概念について議論する。 スーパーアライメントにおけるいくつかの重要な研究課題、すなわち、弱いから強い一般化、スケーラブルな監視、評価に焦点を当てる。 本稿では,学習者モデルの弱点を露呈しようとする敵対的クエリを生成する攻撃者,最小限の人間専門家とともに,批判モデルによって生成されたスケーラブルなフィードバックから学習することで自己を洗練させる学習者,与えられた質問応答対に対する批判や説明を生成する批判者,そして批判によって学習者を改善することを目的とした,3つのモジュールからなるスーパーアライメントの概念的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-15T10:34:06Z)
• Overview of PerpectiveArg2024: The First Shared Task on Perspective Argument Retrieval [56.66761232081188]
  本稿では,社会における少数派・多数派を代表する年齢,性別,政治的態度など,人口・社会文化(社会)の多様性を包括する新しいデータセットを提案する。 パースペクティビズムを取り入れる上での重大な課題は、特に社会的なプロファイルを明示的に提供せずに、議論のテキストのみに基づくパーソナライズを目指す場合である。 パーソナライズと分極の低減を図るため, パーソナライズを最適化するためには, パーソナライズされた論証検索をブートストラップするが, さらなる研究が不可欠である。
  論文  参考訳（メタデータ） (2024-07-29T03:14:57Z)
• An Empirical Analysis of Diversity in Argument Summarization [4.128725138940779]
  多様性の側面として,意見,注釈,情報源の3つを紹介する。 我々は、キーポイント分析と呼ばれる一般的な議論要約タスクへのアプローチを評価する。
  論文  参考訳（メタデータ） (2024-02-02T16:26:52Z)
• Modeling subjectivity (by Mimicking Annotator Annotation) in toxic comment identification across diverse communities [3.0284081180864675]
  本研究は, 定量的解析を用いて, 注釈の相違点から直感的な相違点を同定することを目的とする。 また、トレーニングデータのサイズによって、毒性に関する様々な視点を模倣するモデルの能力についても評価する。 主観性は全アノテータ群で明らかであり,多数決投票の欠点を実証している。
  論文  参考訳（メタデータ） (2023-11-01T00:17:11Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Is Attention Interpretation? A Quantitative Assessment On Sets [0.0]
  集合機械学習の文脈における注意の解釈可能性について検討する。 注意分布は、個々のインスタンスの相対的な重要性を反映していることが多い。 我々は、注意に基づく説明を誤解させるリスクを最小限に抑えるためにアンサンブルを使うことを提案する。
  論文  参考訳（メタデータ） (2022-07-26T16:25:38Z)
• Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning [91.58529629419135]
  我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。 本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
  論文  参考訳（メタデータ） (2020-10-27T18:41:49Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。