論文の概要: Whose Opinions Do Language Models Reflect?

• arxiv url: http://arxiv.org/abs/2303.17548v1
• Date: Thu, 30 Mar 2023 17:17:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 12:44:20.075488
• Title: Whose Opinions Do Language Models Reflect?
• Title（参考訳）: 言語モデルではどの意見が反映されるのか?
• Authors: Shibani Santurkar, Esin Durmus, Faisal Ladhak, Cinoo Lee, Percy Liang, Tatsunori Hashimoto
• Abstract要約: 質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
• 参考スコア（独自算出の注目度）: 88.35520051971538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models (LMs) are increasingly being used in open-ended contexts, where the opinions reflected by LMs in response to subjective queries can have a profound impact, both on user satisfaction, as well as shaping the views of society at large. In this work, we put forth a quantitative framework to investigate the opinions reflected by LMs -- by leveraging high-quality public opinion polls and their associated human responses. Using this framework, we create OpinionsQA, a new dataset for evaluating the alignment of LM opinions with those of 60 US demographic groups over topics ranging from abortion to automation. Across topics, we find substantial misalignment between the views reflected by current LMs and those of US demographic groups: on par with the Democrat-Republican divide on climate change. Notably, this misalignment persists even after explicitly steering the LMs towards particular demographic groups. Our analysis not only confirms prior observations about the left-leaning tendencies of some human feedback-tuned LMs, but also surfaces groups whose opinions are poorly reflected by current LMs (e.g., 65+ and widowed individuals). Our code and data are available at https://github.com/tatsu-lab/opinions_qa.
• Abstract（参考訳）: 言語モデル(lms)は,主観的質問に対するlmsが反映する意見が,ユーザの満足度だけでなく,社会全体の見解形成にも大きな影響を与えている,オープンエンドの文脈でますます利用されている。 本研究では,高品質の世論調査とそれに関連する人的反応を活用することで,lsmが反映する意見を定量的に調査するための枠組みを提示する。 このフレームワークを使用して、中絶から自動化までのトピックに関して、米国60の人口集団とLMの意見の一致を評価するための新しいデータセットであるOpinionsQAを作成する。 さまざまなトピックにおいて、現在のlmsが反映する見解と米国の人口統計グループの間には、かなりの不一致が見られます。 特に、このミスアライメントは、LMを特定の人口集団に向けて明示的に操った後も継続する。 私たちの分析では、人間のフィードバック調整されたlmsの左傾き傾向に関する先行観測を裏付けるだけでなく、現在のlms(65歳以上や未亡人など)にあまり反映されていない表面群についても確認した。 私たちのコードとデータはhttps://github.com/tatsu-lab/opinions_qaで入手できます。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• GermanPartiesQA: Benchmarking Commercial Large Language Models for Political Bias and Sycophancy [20.06753067241866]
  我々は,OpenAI, Anthropic, Cohereの6つのLDMのアライメントをドイツ政党の立場と比較した。 我々は、主要なドイツの国会議員のベンチマークデータと社会デマグラフィーデータを用いて、迅速な実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T13:04:25Z)
• Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion [45.84205238554709]
  我々は,2017年ドイツ縦断選挙研究の回答者の個人特性と一致するペルソナの合成サンプルを生成した。 我々は,LSM GPT-3.5に対して,各回答者の投票選択を予測し,これらの予測を調査に基づく推定と比較する。 GPT-3.5は市民の投票選択を正確に予測せず、緑の党と左派に偏見を呈している。
  論文  参考訳（メタデータ） (2024-07-11T14:52:18Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Whose Emotions and Moral Sentiments Do Language Models Reflect? [5.4547979989237225]
  言語モデル(LM)は、ある社会集団の視点を他のグループよりも良く表現することが知られている。 両イデオロギー群とLMの相違点が有意である。 特定のイデオロギー的な視点でLMを操った後も、モデルのミスアライメントとリベラルな傾向は持続する。
  論文  参考訳（メタデータ） (2024-02-16T22:34:53Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• CommunityLM: Probing Partisan Worldviews from Language Models [11.782896991259001]
  コミュニティ言語モデルであるCommunityLMを用いて,同じ質問に対するコミュニティ固有の回答を探索するフレームワークを使用している。 当社のフレームワークでは、Twitter上の各コミュニティのコミットされたパルチザンメンバーと、彼らによって書かれたツイートに関する微調整LMを識別しています。 次に、対応するLMのプロンプトベース探索を用いて、2つのグループの世界観を評価する。
  論文  参考訳（メタデータ） (2022-09-15T05:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。