論文の概要: Whose Opinions Do Language Models Reflect?
- arxiv url: http://arxiv.org/abs/2303.17548v1
- Date: Thu, 30 Mar 2023 17:17:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 12:44:20.075488
- Title: Whose Opinions Do Language Models Reflect?
- Title(参考訳): 言語モデルではどの意見が反映されるのか?
- Authors: Shibani Santurkar, Esin Durmus, Faisal Ladhak, Cinoo Lee, Percy Liang,
Tatsunori Hashimoto
- Abstract要約: 質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
- 参考スコア(独自算出の注目度): 88.35520051971538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models (LMs) are increasingly being used in open-ended contexts,
where the opinions reflected by LMs in response to subjective queries can have
a profound impact, both on user satisfaction, as well as shaping the views of
society at large. In this work, we put forth a quantitative framework to
investigate the opinions reflected by LMs -- by leveraging high-quality public
opinion polls and their associated human responses. Using this framework, we
create OpinionsQA, a new dataset for evaluating the alignment of LM opinions
with those of 60 US demographic groups over topics ranging from abortion to
automation. Across topics, we find substantial misalignment between the views
reflected by current LMs and those of US demographic groups: on par with the
Democrat-Republican divide on climate change. Notably, this misalignment
persists even after explicitly steering the LMs towards particular demographic
groups. Our analysis not only confirms prior observations about the
left-leaning tendencies of some human feedback-tuned LMs, but also surfaces
groups whose opinions are poorly reflected by current LMs (e.g., 65+ and
widowed individuals). Our code and data are available at
https://github.com/tatsu-lab/opinions_qa.
- Abstract(参考訳): 言語モデル(lms)は,主観的質問に対するlmsが反映する意見が,ユーザの満足度だけでなく,社会全体の見解形成にも大きな影響を与えている,オープンエンドの文脈でますます利用されている。
本研究では,高品質の世論調査とそれに関連する人的反応を活用することで,lsmが反映する意見を定量的に調査するための枠組みを提示する。
このフレームワークを使用して、中絶から自動化までのトピックに関して、米国60の人口集団とLMの意見の一致を評価するための新しいデータセットであるOpinionsQAを作成する。
さまざまなトピックにおいて、現在のlmsが反映する見解と米国の人口統計グループの間には、かなりの不一致が見られます。
特に、このミスアライメントは、LMを特定の人口集団に向けて明示的に操った後も継続する。
私たちの分析では、人間のフィードバック調整されたlmsの左傾き傾向に関する先行観測を裏付けるだけでなく、現在のlms(65歳以上や未亡人など)にあまり反映されていない表面群についても確認した。
私たちのコードとデータはhttps://github.com/tatsu-lab/opinions_qaで入手できます。
関連論文リスト
- Political Compass or Spinning Arrow? Towards More Meaningful Evaluations
for Values and Opinions in Large Language Models [32.02697384213719]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。
強制されない場合、モデルが実質的に異なる答えを与えることを示す。
我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文 参考訳(メタデータ) (2024-02-26T18:00:49Z) - Whose Emotions and Moral Sentiments Do Language Models Reflect? [5.958974943807783]
言語モデル(LM)は、ある社会集団の視点を他のグループよりも良く表現することが知られている。
両イデオロギー群とLMの相違点が有意である。
特定のイデオロギー的な視点でLMを操った後も、モデルのミスアライメントとリベラルな傾向は持続する。
論文 参考訳(メタデータ) (2024-02-16T22:34:53Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Relying on the Unreliable: The Impact of Language Models' Reluctance to
Express Uncertainty [58.26600585770745]
誤応答しても,不確かさを表現できないことが判明した。
我々は、人間の実験を行うことで、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。
最後に、RLHFアライメントで使用される嗜好注釈付きデータセットを調査し、不確実性のあるテキストに対して人間が偏見を持っていることを確認する。
論文 参考訳(メタデータ) (2024-01-12T18:03:30Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - On the steerability of large language models toward data-driven personas [103.17413190093366]
協調フィルタリングに基づくデータ駆動型ペルソナ定義手法を提案する。
ユーザの連続表現を仮想トークンのシーケンスにマッピングするために,ソフトプロンプトモデルを学ぶ。
以上の結果から,本アルゴリズムはベースラインの収集よりも性能が優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Filter bubbles and affective polarization in user-personalized large
language model outputs [0.15540058359482856]
大規模言語モデル(LLM)は、個々のユーザに対して、モデル出力のパーソナライズを増大させる要因となっている。
事実質問の前にユーザの政治的関連性によって,主要な大規模言語モデルであるChatGPT-3.5をいかに促進させるかを検討する。
論文 参考訳(メタデータ) (2023-10-31T18:19:28Z) - Towards Measuring the Representation of Subjective Global Opinions in
Language Models [14.056632134768023]
大規模言語モデル(LLM)は、社会問題に関する多様なグローバルな視点を公平に表すものではない。
本研究では,どの意見がモデル生成応答に類似しているかを定量的に評価する枠組みを開発する。
他者が使用して構築するためのデータセットをリリースしています。
論文 参考訳(メタデータ) (2023-06-28T17:31:53Z) - CommunityLM: Probing Partisan Worldviews from Language Models [11.782896991259001]
コミュニティ言語モデルであるCommunityLMを用いて,同じ質問に対するコミュニティ固有の回答を探索するフレームワークを使用している。
当社のフレームワークでは、Twitter上の各コミュニティのコミットされたパルチザンメンバーと、彼らによって書かれたツイートに関する微調整LMを識別しています。
次に、対応するLMのプロンプトベース探索を用いて、2つのグループの世界観を評価する。
論文 参考訳(メタデータ) (2022-09-15T05:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。