論文の概要: "They are uncultured": Unveiling Covert Harms and Social Threats in LLM Generated Conversations

• arxiv url: http://arxiv.org/abs/2405.05378v1
• Date: Wed, 8 May 2024 19:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 14:52:18.612251
• Title: "They are uncultured": Unveiling Covert Harms and Social Threats in LLM Generated Conversations
• Title（参考訳）: They are uncultured:Unveiling Covert Harms and Social Threats in LLM Generated Conversations
• Authors: Preetam Prabhu Srikar Dammu, Hayoung Jung, Anjali Singh, Monojit Choudhury, Tanushree Mitra,
• Abstract要約: 大規模言語モデル(LLM)は現代社会の不可欠な部分として登場した。 実用性にも拘わらず、LLMは体系的バイアスを持続することを示している。 社会科学文献に基礎を置く7つの指標の集合であるCovert Harms and Social Threats(CHAST)を紹介する。
• 参考スコア（独自算出の注目度）: 15.535416139394009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have emerged as an integral part of modern societies, powering user-facing applications such as personal assistants and enterprise applications like recruitment tools. Despite their utility, research indicates that LLMs perpetuate systemic biases. Yet, prior works on LLM harms predominantly focus on Western concepts like race and gender, often overlooking cultural concepts from other parts of the world. Additionally, these studies typically investigate "harm" as a singular dimension, ignoring the various and subtle forms in which harms manifest. To address this gap, we introduce the Covert Harms and Social Threats (CHAST), a set of seven metrics grounded in social science literature. We utilize evaluation models aligned with human assessments to examine the presence of covert harms in LLM-generated conversations, particularly in the context of recruitment. Our experiments reveal that seven out of the eight LLMs included in this study generated conversations riddled with CHAST, characterized by malign views expressed in seemingly neutral language unlikely to be detected by existing methods. Notably, these LLMs manifested more extreme views and opinions when dealing with non-Western concepts like caste, compared to Western ones such as race.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現代社会の不可欠な部分として現れ、パーソナルアシスタントのようなユーザ向けアプリケーションや採用ツールのようなエンタープライズアプリケーションに力を入れている。 実用性にも拘わらず、LLMは体系的バイアスを持続することを示している。 しかし、LLMに関する先行研究は、人種やジェンダーといった西洋のコンセプトに主に焦点を合わせ、しばしば世界の他の地域からの文化的概念を見下ろしている。 さらに、これらの研究は通常「ハーム」を特異次元として研究し、害が現れる様々な微妙な形態を無視している。 このギャップに対処するために,社会科学文献に根ざした7つの指標のセットであるCovert Harms and Social Threats(CHAST)を紹介した。 我々は,人的評価と整合した評価モデルを用いて,LLM生成会話における隠蔽害の有無,特に採用の文脈における検討を行った。 実験の結果,本研究に含まれる8つのLSMのうち7つは,CHASTを駆使した会話を発生し,既存の手法では検出できないと思われる中性言語で表現された悪性の見解を特徴とした。 特に、これらのLSMは、人種のような西洋のものと比べ、キャストのような非西洋的な概念を扱う際に、より極端な見解と意見を示していた。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments [14.143299702954023]
  本研究は、国籍、宗教、人種・民族の観点で定義された社会集団に焦点を当てる。 我々は、あるグループから別のグループへの感情に関する質問をLSMに入力し、反応に感情分析を適用し、その結果を社会調査と比較する。
  論文  参考訳（メタデータ） (2024-08-08T08:13:25Z)
• A Taxonomy of Stereotype Content in Large Language Models [4.4212441764241]
  本研究では,現代大言語モデル(LLM)におけるステレオタイプ内容の分類について紹介する。 LLMステレオタイプアソシエーションの90%を占める14のステレオタイプ次元(モラル、能力、健康、信条、感情など)を同定した。 以上の結果から,LLMには高次元のヒトステレオタイプが反映されていることが示唆された。
  論文  参考訳（メタデータ） (2024-07-31T21:14:41Z)
• How Are LLMs Mitigating Stereotyping Harms? Learning from Search Engine Studies [0.0]
  商業モデル開発は、社会的影響評価を犠牲にして、法的負債に関する「安全」の訓練に重点を置いている。 これは、数年前に検索エンジンのオートコンプリートを観測できる同様の傾向を模倣している。 LLMにおけるステレオタイピングを評価するために,オートコンプリート方式の新たな評価課題を提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:04:35Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Laissez-Faire Harms: Algorithmic Biases in Generative Language Models [0.0]
  そこで本研究では,最も広範に普及しているLMの5つのテキストから合成されたテキストが,未成年者に対する脱落,従属化,ステレオタイピングの被害を永久に及ぼしていることを示す。 我々は、そのような個人が、LM生成出力に遭遇する確率が数百から数千倍にも達するほど、偏見の証拠が広範囲にあることを発見した。 本研究は,言語モデルによる差別的被害から消費者を守るための緊急の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-04-11T05:09:03Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
  大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。 本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
  論文  参考訳（メタデータ） (2023-10-13T16:12:57Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。