論文の概要: GRASP: A Disagreement Analysis Framework to Assess Group Associations in Perspectives

• arxiv url: http://arxiv.org/abs/2311.05074v2
• Date: Fri, 14 Jun 2024 03:28:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:43:29.819463
• Title: GRASP: A Disagreement Analysis Framework to Assess Group Associations in Perspectives
• Title（参考訳）: GRASP: グループアソシエーションを視点で評価する診断分析フレームワーク
• Authors: Vinodkumar Prabhakaran, Christopher Homan, Lora Aroyo, Aida Mostafazadeh Davani, Alicia Parrish, Alex Taylor, Mark Díaz, Ding Wang, Gregory Serapio-García,
• Abstract要約: 本稿では,グループ関係を,異なるレーダサブグループ間の視点で測定するための総合的不一致分析フレームワークGRASPを提案する。 本フレームワークは,特定のタスクにおいて他と大きく異なる視点を持つ特定のレーダ群を明らかにし,特定のタスクコンテキストにおいて考慮すべき人口動態の同定を支援する。
• 参考スコア（独自算出の注目度）: 18.574420136899978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human annotation plays a core role in machine learning -- annotations for supervised models, safety guardrails for generative models, and human feedback for reinforcement learning, to cite a few avenues. However, the fact that many of these human annotations are inherently subjective is often overlooked. Recent work has demonstrated that ignoring rater subjectivity (typically resulting in rater disagreement) is problematic within specific tasks and for specific subgroups. Generalizable methods to harness rater disagreement and thus understand the socio-cultural leanings of subjective tasks remain elusive. In this paper, we propose GRASP, a comprehensive disagreement analysis framework to measure group association in perspectives among different rater sub-groups, and demonstrate its utility in assessing the extent of systematic disagreements in two datasets: (1) safety annotations of human-chatbot conversations, and (2) offensiveness annotations of social media posts, both annotated by diverse rater pools across different socio-demographic axes. Our framework (based on disagreement metrics) reveals specific rater groups that have significantly different perspectives than others on certain tasks, and helps identify demographic axes that are crucial to consider in specific task contexts.
• Abstract（参考訳）: 人間のアノテーションは、教師付きモデルのためのアノテーション、生成モデルのための安全ガードレール、強化学習のための人間のフィードバックなど、機械学習において中心的な役割を果たす。 しかし、これらの人間の注釈の多くが本質的に主観的であるという事実は、しばしば見過ごされる。 最近の研究は、特定のタスクや特定のサブグループに対して、レーダ主観性を無視すること(典型的にはレーダの不一致をもたらす)が問題であることを示した。 レーダの不一致を利用して、主観的タスクの社会的・文化的傾きを理解するための一般化可能な手法は、いまだ解明されていない。 本稿では,グループアソシエーション(グループアソシエーション,グループアソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション、グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ・アソシエーション,グループ,グループ・コミュニケーション,グループ・コミュニケーション,グループ・グループ・コミュニケーション,グループ・コミュニケーション,グループ・コミュニケーション,グループ・グループ・コミュニケーション,グループ・グループ・グループ・ 我々のフレームワークは(不一致指標に基づく)特定のタスクにおいて他と大きく異なる視点を持つ特定のレーダグループを明らかにし、特定のタスクコンテキストにおいて考慮すべき人口統計軸を特定するのに役立ちます。

関連論文リスト

• An Empirical Analysis of Diversity in Argument Summarization [4.128725138940779]
  多様性の側面として,意見,注釈,情報源の3つを紹介する。 我々は、キーポイント分析と呼ばれる一般的な議論要約タスクへのアプローチを評価する。
  論文  参考訳（メタデータ） (2024-02-02T16:26:52Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSOFAをキュレートする。 既存のベンチマークと比較すると、言語モデル内のバイアスは認識されるよりもニュアンスが高いことが分かる。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• Modeling subjectivity (by Mimicking Annotator Annotation) in toxic comment identification across diverse communities [3.0284081180864675]
  本研究は, 定量的解析を用いて, 注釈の相違点から直感的な相違点を同定することを目的とする。 また、トレーニングデータのサイズによって、毒性に関する様々な視点を模倣するモデルの能力についても評価する。 主観性は全アノテータ群で明らかであり,多数決投票の欠点を実証している。
  論文  参考訳（メタデータ） (2023-11-01T00:17:11Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Is Attention Interpretation? A Quantitative Assessment On Sets [0.0]
  集合機械学習の文脈における注意の解釈可能性について検討する。 注意分布は、個々のインスタンスの相対的な重要性を反映していることが多い。 我々は、注意に基づく説明を誤解させるリスクを最小限に抑えるためにアンサンブルを使うことを提案する。
  論文  参考訳（メタデータ） (2022-07-26T16:25:38Z)
• Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks [95.29345070102045]
  本稿では,ダイアログの安全性問題に対する社会的バイアス検出に焦点をあてる。 まず,会話における社会的バイアスを現実的に分析する新しいダイアルバイアスフレームを提案する。 中国初の社会バイアスダイアログデータセットであるCDail-Biasデータセットを紹介する。
  論文  参考訳（メタデータ） (2022-02-16T11:59:29Z)
• Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
  同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。 同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。 我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
  論文  参考訳（メタデータ） (2021-06-15T20:55:55Z)
• Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning [91.58529629419135]
  我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。 本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
  論文  参考訳（メタデータ） (2020-10-27T18:41:49Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。