論文の概要: Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments

• arxiv url: http://arxiv.org/abs/2408.04293v1
• Date: Thu, 8 Aug 2024 08:13:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:17:56.668002
• Title: Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments
• Title（参考訳）: LLMにおける社会的感性は継承されるか? : 画像間感性の抽出に関する実証的研究
• Authors: Kunitomo Tanaka, Ryohei Sasano, Koichi Takeda,
• Abstract要約: 本研究は、国籍、宗教、人種・民族の観点で定義された社会集団に焦点を当てる。 我々は、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。
• 参考スコア（独自算出の注目度）: 14.143299702954023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are supposed to acquire unconscious human knowledge and feelings, such as social common sense and biases, by training models from large amounts of text. However, it is not clear how much the sentiments of specific social groups can be captured in various LLMs. In this study, we focus on social groups defined in terms of nationality, religion, and race/ethnicity, and validate the extent to which sentiments between social groups can be captured in and extracted from LLMs. Specifically, we input questions regarding sentiments from one group to another into LLMs, apply sentiment analysis to the responses, and compare the results with social surveys. The validation results using five representative LLMs showed higher correlations with relatively small p-values for nationalities and religions, whose number of data points were relatively large. This result indicates that the LLM responses including the inter-group sentiments align well with actual social survey results.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大量のテキストからモデルを訓練することで、社会的常識や偏見といった無意識の人間の知識や感情を取得することを目的としている。 しかし、特定の社会集団の感情が様々な LLM でどの程度捉えられるかは明らかになっていない。 本研究では、民族性、宗教、人種・民族性の観点から定義された社会集団に着目し、LLMから社会集団間の感情を捕捉・抽出できる範囲を検証した。 具体的には、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。 5つの代表LSMを用いた検証結果から, 国や宗教のp値が比較的小さいのに対し, データは比較的多かった。 その結果,グループ間感情を含むLCM反応は,実際の社会調査結果とよく一致していることがわかった。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis [23.329280888159744]
  大規模言語モデル(LLM)は、訓練データに偏見を反映し、社会的ステレオタイプや不平等を補強する社会バイアスを持続させる。 本稿では,これらのモデルにプロンプトに対する非バイアス応答を付与する独自のデバイアス処理手法であるSocial Contact Debiasing(SCD)を提案する。 我々の研究は、LLM応答が接触探究の際の社会的バイアスを示すことを示したが、より重要なことは、これらのバイアスは、SCD戦略に従ってLLaMA 2を指導する1つの時代において、最大40%減少させることができることである。
  論文  参考訳（メタデータ） (2024-07-02T07:58:46Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models [11.132360309354782]
  社会的偏見は、様々な人口統計学的アイデンティティを対象とする社会的認識の蓄積によって形成される。 本研究では,社会的知覚を直感的に定量化し,大規模言語モデルにおける社会的バイアスを評価する指標を提案する。
  論文  参考訳（メタデータ） (2024-06-06T13:32:09Z)
• Are Large Language Models Chameleons? An Attempt to Simulate Social Surveys [1.5727456947901746]
  大規模言語モデル(LLM)が主観的な質問に答えるよう求められたシミュレーションを数百万回実施した。 欧州社会調査(ESS)データと異なるLDM応答の比較は、プロンプトがバイアスや変動性に与える影響が基本であることを示唆している。
  論文  参考訳（メタデータ） (2024-05-29T17:54:22Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large Language Models [11.218531873222398]
  大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。 本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T17:22:30Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。