論文の概要: Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting

• arxiv url: http://arxiv.org/abs/2309.07034v2
• Date: Thu, 8 Feb 2024 16:35:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 19:10:20.476215
• Title: Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting
• Title（参考訳）: 感性, 性能, ロバスト性: 身体超音波プロンプトによる影響のデコンストラクション
• Authors: Tilman Beck, Hendrik Schuff, Anne Lauscher, Iryna Gurevych
• Abstract要約: 社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
• 参考スコア（独自算出の注目度）: 64.80538055623842
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Annotators' sociodemographic backgrounds (i.e., the individual compositions of their gender, age, educational background, etc.) have a strong impact on their decisions when working on subjective NLP tasks, such as toxic language detection. Often, heterogeneous backgrounds result in high disagreements. To model this variation, recent work has explored sociodemographic prompting, a technique, which steers the output of prompt-based models towards answers that humans with specific sociodemographic profiles would give. However, the available NLP literature disagrees on the efficacy of this technique - it remains unclear for which tasks and scenarios it can help, and the role of the individual factors in sociodemographic prompting is still unexplored. We address this research gap by presenting the largest and most comprehensive study of sociodemographic prompting today. We analyze its influence on model sensitivity, performance and robustness across seven datasets and six instruction-tuned model families. We show that sociodemographic information affects model predictions and can be beneficial for improving zero-shot learning in subjective NLP tasks. However, its outcomes largely vary for different model types, sizes, and datasets, and are subject to large variance with regards to prompt formulations. Most importantly, our results show that sociodemographic prompting should be used with care for sensitive applications, such as toxicity annotation or when studying LLM alignment. Code and data: https://github.com/UKPLab/arxiv2023-sociodemographic-prompting
• Abstract（参考訳）: 注釈者の社会デモグラフィ的背景(すなわち、性別、年齢、教育的背景などの個々の構成)は、有毒な言語検出のような主観的なnlpタスクに取り組む際に、彼らの決定に強い影響を与える。 不均一な背景はしばしば高い相違をもたらす。 この変異をモデル化するために、最近の研究は、特定の社会デモグラフィプロファイルを持つ人間が与えるであろう答えに対して、プロンプトベースのモデルの出力を制御する手法である社会デモグラフィープロンシングを探求している。 しかし、利用可能なnlp文献はこの手法の有効性に異を唱えており、どのタスクやシナリオが役に立つのかは未だ不明であり、社会デポジトリ・プロンプトにおける個々の要因の役割はまだ未解明である。 我々は,この研究のギャップを,今日最も大きく包括的な社会デマトグラフィー研究によって解決している。 7つのデータセットと6つの命令調整モデルファミリにおけるモデル感度、性能、ロバスト性への影響を解析する。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習の改善に有用であることを示す。 しかしながら、その結果はモデルタイプ、サイズ、データセットによって大きく異なり、迅速な定式化に関して大きなばらつきにさらされている。 最も重要なことは, 社会デモグラフィプロンプトは毒性アノテーションやllmアライメントの研究など, センシティブな応用に活用されるべきである。 コードとデータ: https://github.com/ukplab/arxiv2023-sociodemographic-prompting

関連論文リスト

• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Explainable Depression Symptom Detection in Social Media [2.677715367737641]
  本稿では, トランスフォーマーアーキテクチャを用いて, ユーザの文章中の抑うつ症状マーカーの出現を検知し, 説明する。 我々の自然言語による説明により、臨床医はバリデーションされた症状に基づいてモデルの判断を解釈できる。
  論文  参考訳（メタデータ） (2023-10-20T17:05:27Z)
• A Simple and Flexible Modeling for Mental Disorder Detection by Learning from Clinical Questionnaires [0.2580765958706853]
  そこで本研究では,テキストから直接意味を抽出し,症状に関連する記述と比較する手法を提案する。 詳細な分析により,提案モデルがドメイン知識の活用,他の精神疾患への伝達,解釈可能な検出結果の提供に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-05T15:23:55Z)
• CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
  クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。 このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。 ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T18:31:50Z)
• On the Limitations of Sociodemographic Adaptation with Transformers [34.768337465321395]
  社会学的な要因(性別や年齢など)が我々の言語を形作っている。 これまでの研究は、特定の社会デマログラフィー要素を組み込むことで、様々なNLPタスクのパフォーマンスを継続的に改善できることを示した。 事前学習したトランスフォーマーに外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。
  論文  参考訳（メタデータ） (2022-08-01T17:58:02Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Efficient Multi-Modal Embeddings from Structured Data [0.0]
  マルチモーダルワードセマンティクスは、知覚入力による埋め込みを強化することを目的としている。 ビジュアルグラウンドは言語アプリケーションにも貢献できる。 新しい埋め込みは、テキストベースの埋め込みのための補完的な情報を伝達する。
  論文  参考訳（メタデータ） (2021-10-06T08:42:09Z)
• Understanding the Performance of Knowledge Graph Embeddings in Drug Discovery [14.839673015887275]
  知識グラフ(KG)と関連する知識グラフ埋め込み(KGE)モデルは、最近、薬物発見の文脈で研究され始めている。 本研究では, 薬物発見指向KGにおけるKGEモデルの予測性能について, 何千回もの実験を通して検討した。 結果から,これらの要因が性能に重大な影響を与え,モデルランキングにも影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2021-05-17T11:39:54Z)
• Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units and a Unified Framework [83.21732533130846]
  Aff-Wild と Aff-Wild2 の2つである。 これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。 インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
  論文  参考訳（メタデータ） (2021-03-29T17:36:20Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。