論文の概要: Beyond Demographics: Fine-tuning Large Language Models to Predict Individuals' Subjective Text Perceptions

• arxiv url: http://arxiv.org/abs/2502.20897v1
• Date: Fri, 28 Feb 2025 09:53:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:31.808922
• Title: Beyond Demographics: Fine-tuning Large Language Models to Predict Individuals' Subjective Text Perceptions
• Title（参考訳）: デモグラフィックを超えて:個人の主観的テキスト知覚を予測するための微調整された大規模言語モデル
• Authors: Matthias Orlikowski, Jiaxin Pei, Paul Röttger, Philipp Cimiano, David Jurgens, Dirk Hovy,
• Abstract要約: モデルにより,学習時の社会デマログラフィーの促進効果が向上することを示す。 このパフォーマンス向上は主に、ソシオデマトグラフィーパターンよりも、アノテータ固有の振る舞いを学ぶモデルが原因である。 全ての課題において,本研究の結果から,ソシオデマトグラフィーとアノテーションの関連性はほとんど学習されていないことが示唆された。
• 参考スコア（独自算出の注目度）: 33.76973308687867
• License:
• Abstract: People naturally vary in their annotations for subjective questions and some of this variation is thought to be due to the person's sociodemographic characteristics. LLMs have also been used to label data, but recent work has shown that models perform poorly when prompted with sociodemographic attributes, suggesting limited inherent sociodemographic knowledge. Here, we ask whether LLMs can be trained to be accurate sociodemographic models of annotator variation. Using a curated dataset of five tasks with standardized sociodemographics, we show that models do improve in sociodemographic prompting when trained but that this performance gain is largely due to models learning annotator-specific behaviour rather than sociodemographic patterns. Across all tasks, our results suggest that models learn little meaningful connection between sociodemographics and annotation, raising doubts about the current use of LLMs for simulating sociodemographic variation and behaviour.
• Abstract（参考訳）: 人々は自然に主観的な質問に対する注釈に違いがあり、このバリエーションのいくつかは、その人の社会デマグラフィー的特徴に起因すると考えられている。 LLMはデータのラベル付けにも使われてきたが、最近の研究では、ソシオデミノグラフィーの属性によってモデルの性能が低下していることが示されており、ソソデミノグラフィーの知識が限られていることが示唆されている。 ここでは,LLMをアノテータ変動の正確な社会デマトグラフィーモデルとして訓練できるかどうかを問う。 標準化された社会デマトグラフィーによる5つのタスクのキュレートされたデータセットを用いて、トレーニングされた場合の社会デマトグラフィーのプロンプトは改善するが、このパフォーマンス向上は主に、社会デマトグラフィーパターンよりもアノテータ固有の振る舞いを学ぶモデルが原因であることを示す。 本研究の結果から,社会デマログラフィーとアノテーションの関連性はほとんど学習されていないことが示唆され,社会デマログラフィーの変動と行動のシミュレートにLLMが用いられていることへの疑問が提起された。

関連論文リスト

• Understanding Graphical Perception in Data Visualization through Zero-shot Prompting of Vision-Language Models [23.571294524129847]
  視覚言語モデル(VLM)は多くのチャート理解タスクで成功している。 本稿では,VLMのゼロショットプロンプトの精度を,人間の評価プロファイルを定式化して評価することにより,そのような応用の基礎を定式化した。
  論文  参考訳（メタデータ） (2024-10-31T23:24:46Z)
• LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced Personality Detection Model [58.887561071010985]
  パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。 既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。 本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-12T12:10:18Z)
• Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
  大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。 我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。 ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
  論文  参考訳（メタデータ） (2023-11-16T10:02:24Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• The Ecological Fallacy in Annotation: Modelling Human Label Variation goes beyond Sociodemographics [0.0]
  近年の研究は、集約ラベルを予測するのではなく、個々のアノテータの振る舞いをモデル化することを目的としている。 社会デマトグラフィーを考慮に入れたマルチアノテーションモデルにグループ固有のレイヤーを導入する。 この結果は、個々のアノテーションの振る舞いが単なる社会デマトグラフィー以上のものに依存していることを示している。
  論文  参考訳（メタデータ） (2023-06-20T14:23:32Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• On the Limitations of Sociodemographic Adaptation with Transformers [34.768337465321395]
  社会学的な要因(性別や年齢など)が我々の言語を形作っている。 これまでの研究は、特定の社会デマログラフィー要素を組み込むことで、様々なNLPタスクのパフォーマンスを継続的に改善できることを示した。 事前学習したトランスフォーマーに外部知識を組み込むのに有効な3つの共通特殊化手法を用いる。
  論文  参考訳（メタデータ） (2022-08-01T17:58:02Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。