論文の概要: How Are LLMs Mitigating Stereotyping Harms? Learning from Search Engine Studies

• arxiv url: http://arxiv.org/abs/2407.11733v1
• Date: Tue, 16 Jul 2024 14:04:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 14:52:24.941262
• Title: How Are LLMs Mitigating Stereotyping Harms? Learning from Search Engine Studies
• Title（参考訳）: LLMはどのようにしてステレオタイピングのハームを模倣するのか? 検索エンジン研究から学ぶ
• Authors: Alina Leidinger, Richard Rogers,
• Abstract要約: 商業モデル開発は、社会的影響評価を犠牲にして、法的負債に関する「安全」の訓練に重点を置いている。 これは、数年前に検索エンジンのオートコンプリートを観測できる同様の傾向を模倣している。 LLMにおけるステレオタイピングを評価するために,オートコンプリート方式の新たな評価課題を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the widespread availability of LLMs since the release of ChatGPT and increased public scrutiny, commercial model development appears to have focused their efforts on 'safety' training concerning legal liabilities at the expense of social impact evaluation. This mimics a similar trend which we could observe for search engine autocompletion some years prior. We draw on scholarship from NLP and search engine auditing and present a novel evaluation task in the style of autocompletion prompts to assess stereotyping in LLMs. We assess LLMs by using four metrics, namely refusal rates, toxicity, sentiment and regard, with and without safety system prompts. Our findings indicate an improvement to stereotyping outputs with the system prompt, but overall a lack of attention by LLMs under study to certain harms classified as toxic, particularly for prompts about peoples/ethnicities and sexual orientation. Mentions of intersectional identities trigger a disproportionate amount of stereotyping. Finally, we discuss the implications of these findings about stereotyping harms in light of the coming intermingling of LLMs and search and the choice of stereotyping mitigation policy to adopt. We address model builders, academics, NLP practitioners and policy makers, calling for accountability and awareness concerning stereotyping harms, be it for training data curation, leader board design and usage, or social impact measurement.
• Abstract（参考訳）: ChatGPTのリリース以降のLLMの普及と公衆の監視の高まりにより、商業モデル開発は社会的影響評価を犠牲にして、法的負債に関する「安全」トレーニングに重点を置いていたようである。 これは、数年前に検索エンジンのオートコンプリートを観測できる同様の傾向を模倣している。 我々は,NLPと検索エンジン監査から奨学金を得て,LLMにおけるステレオタイピングを評価するための自動補完プロンプトのスタイルで,新しい評価課題を提示する。 4つの指標(拒絶率、毒性、感情と配慮)を用いてLCMを評価する。 以上の結果から,システム・プロンプトによるステレオタイピングのアウトプットの改善が示唆された。 交差したアイデンティティの仮定は不均等な量のステレオタイピングを引き起こす。 最後に, LLM と検索の相互干渉にともなうステレオタイピング障害に関するこれらの知見と, 適用すべきステレオタイピング緩和政策の選択について考察する。 モデル構築者、学者、NLP実践者、政策立案者に対処し、ステレオタイピングの害に関する説明責任と認識を要求し、データキュレーションのトレーニング、リーダーボードの設計と使用、社会的影響の測定を行う。

関連論文リスト

• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• LLM-Driven Robots Risk Enacting Discrimination, Violence, and Unlawful Actions [3.1247504290622214]
  研究は、大規模言語モデルが現実世界のロボット実験や応用において差別的な結果や安全でない行動をもたらす可能性を懸念している。 高い評価を受けたLLMの識別基準と安全性基準のHRIに基づく評価を行う。 結果から, 組織的, 定期的, 包括的リスクアセスメントと, 成果改善のための保証の必要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2024-06-13T05:31:49Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• "They are uncultured": Unveiling Covert Harms and Social Threats in LLM Generated Conversations [15.535416139394009]
  大規模言語モデル(LLM)は現代社会の不可欠な部分として登場した。 実用性にも拘わらず、LLMは体系的バイアスを持続することを示している。 社会科学文献に基礎を置く7つの指標の集合であるCovert Harms and Social Threats(CHAST)を紹介する。
  論文  参考訳（メタデータ） (2024-05-08T19:08:45Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Prejudice and Volatility: A Statistical Framework for Measuring Social Discrimination in Large Language Models [0.0]
  本研究では,Large Language Models (LLMs) の生成における不整合が社会的不正を誘発し,さらに悪化させる可能性について検討した。 LLMを評価するための行動指標を正確に定義するPrejudice-Volatility Framework(PVF)を定式化する。 我々は,LLMの集合的差別リスクを,システムバイアスやボラティリティリスクから生じる偏見リスクに数学的に分解する。
  論文  参考訳（メタデータ） (2024-02-23T18:15:56Z)
• StereoMap: Quantifying the Awareness of Human-like Stereotypes in Large Language Models [11.218531873222398]
  大規模言語モデル(LLM)は、トレーニングデータに存在する有害な関連を符号化し、永続する。 本稿では,人口集団が社会によってどのように見られているかについての認識を得るために,StereoMapという理論的基盤を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T17:22:30Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。