論文の概要: How (Not) to Use Sociodemographic Information for Subjective NLP Tasks
- arxiv url: http://arxiv.org/abs/2309.07034v1
- Date: Wed, 13 Sep 2023 15:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 13:38:50.308034
- Title: How (Not) to Use Sociodemographic Information for Subjective NLP Tasks
- Title（参考訳）: 主観的NLP課題におけるソシオドモグラフィー情報の利用方法(Not)
- Authors: Tilman Beck, Hendrik Schuff, Anne Lauscher, Iryna Gurevych
- Abstract要約: 社会デマトグラフィーは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに対して、ステアラーに基づくモデルを促す。
我々は今日,社会デマトグラフィーの最大かつ最も包括的な研究成果を提示する。
- 参考スコア（独自算出の注目度）: 64.80538055623842
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Annotators' sociodemographic backgrounds (i.e., the individual compositions
of their gender, age, educational background, etc.) have a strong impact on
their decisions when working on subjective NLP tasks, such as hate speech
detection. Often, heterogeneous backgrounds result in high disagreements. To
model this variation, recent work has explored sociodemographic prompting, a
technique, which steers the output of prompt-based models towards answers that
humans with specific sociodemographic profiles would give. However, the
available NLP literature disagrees on the efficacy of this technique -- it
remains unclear, for which tasks and scenarios it can help and evaluations are
limited to specific tasks only. We address this research gap by presenting the
largest and most comprehensive study of sociodemographic prompting today.
Concretely, we evaluate several prompt formulations across seven datasets and
six instruction-tuned model families. We find that (1) while sociodemographic
prompting can be beneficial for improving zero-shot learning in subjective NLP
tasks, (2) its outcomes largely vary for different model types, sizes, and
datasets, (3) are subject to large variance with regards to prompt
formulations. Thus, sociodemographic prompting is not a reliable proxy for
traditional data annotation with a sociodemographically heterogeneous group of
annotators. Instead, we propose (4) to use it for identifying ambiguous
instances resulting in more informed annotation efforts.
- Abstract（参考訳）: 注釈者の社会デモグラフィ的背景(すなわち、性別、年齢、教育的背景などの個々の構成)は、ヘイトスピーチ検出のような主観的なnlpタスクに取り組む際に、彼らの決定に強い影響を与える。
不均一な背景はしばしば高い相違をもたらす。
この変異をモデル化するために、最近の研究は、特定の社会デモグラフィプロファイルを持つ人間が与えるであろう答えに対して、プロンプトベースのモデルの出力を制御する手法である社会デモグラフィープロンシングを探求している。
しかし、利用可能なnlp文献は、このテクニックの有効性に異議を唱えている。どのタスクやシナリオが役に立つのか、評価は特定のタスクのみに限られている。
我々は,この研究のギャップを,今日最も大きく包括的な社会デマトグラフィー研究によって解決している。
具体的には、7つのデータセットと6つの命令調整モデルファミリにまたがるいくつかの迅速な定式化を評価する。
その結果,(1)主観的nlpタスクにおけるゼロショット学習の改善に社会デポジトリプロンプトが有効である一方で,(2)モデルの種類,サイズ,データセットによって結果が大きく異なり,(3)プロンプト定式化には大きなばらつきがあることがわかった。
したがって、社会デマトグラフィーのプロンプトは、社会デマトグラフィー的に異質なアノテータ群を持つ従来のデータアノテーションの信頼できるプロキシではない。
代わりに、より情報に富んだアノテーションの取り組みをもたらすあいまいなインスタンスを特定するために(4)を提案する。
関連論文リスト
- Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。
既存の感受性研究は、自己報告された信念に大きく依存している。
本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
論文 参考訳（メタデータ） (2023-11-16T07:22:56Z) - Explainable Depression Symptom Detection in Social Media [2.677715367737641]
本稿では, トランスフォーマーアーキテクチャを用いて, ユーザの文章中の抑うつ症状マーカーの出現を検知し, 説明する。
我々の自然言語による説明により、臨床医はバリデーションされた症状に基づいてモデルの判断を解釈できる。
論文 参考訳（メタデータ） (2023-10-20T17:05:27Z) - A Simple and Flexible Modeling for Mental Disorder Detection by Learning
from Clinical Questionnaires [0.2580765958706853]
そこで本研究では,テキストから直接意味を抽出し,症状に関連する記述と比較する手法を提案する。
詳細な分析により,提案モデルがドメイン知識の活用,他の精神疾患への伝達,解釈可能な検出結果の提供に有効であることが示唆された。
論文 参考訳（メタデータ） (2023-06-05T15:23:55Z) - CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。
このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。
ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T18:31:50Z) - On the Limitations of Sociodemographic Adaptation with Transformers [34.768337465321395]
社会学的な要因(性別や年齢など)が我々の言語を形作っている。
これまでの研究は、特定の社会デマログラフィー要素を組み込むことで、様々なNLPタスクのパフォーマンスを継続的に改善できることを示した。
事前学習したトランスフォーマーに外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。
論文 参考訳（メタデータ） (2022-08-01T17:58:02Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Efficient Multi-Modal Embeddings from Structured Data [0.0]
マルチモーダルワードセマンティクスは、知覚入力による埋め込みを強化することを目的としている。
ビジュアルグラウンドは言語アプリケーションにも貢献できる。
新しい埋め込みは、テキストベースの埋め込みのための補完的な情報を伝達する。
論文 参考訳（メタデータ） (2021-10-06T08:42:09Z) - Understanding the Performance of Knowledge Graph Embeddings in Drug
Discovery [14.839673015887275]
知識グラフ(KG)と関連する知識グラフ埋め込み(KGE)モデルは、最近、薬物発見の文脈で研究され始めている。
本研究では, 薬物発見指向KGにおけるKGEモデルの予測性能について, 何千回もの実験を通して検討した。
結果から,これらの要因が性能に重大な影響を与え,モデルランキングにも影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2021-05-17T11:39:54Z) - Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units
and a Unified Framework [83.21732533130846]
Aff-Wild と Aff-Wild2 の2つである。
これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。
インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
論文 参考訳（メタデータ） (2021-03-29T17:36:20Z) - Explaining Black Box Predictions and Unveiling Data Artifacts through
Influence Functions [55.660255727031725]
影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。
本稿では,代表課題における影響関数と共通単語順応法の比較を行う。
我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
論文 参考訳（メタデータ） (2020-05-14T00:45:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。