論文の概要: Questioning the Survey Responses of Large Language Models
- arxiv url: http://arxiv.org/abs/2306.07951v1
- Date: Tue, 13 Jun 2023 17:48:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 12:23:52.500874
- Title: Questioning the Survey Responses of Large Language Models
- Title（参考訳）: 大規模言語モデルの調査結果に対する質問
- Authors: Ricardo Dominguez-Olmedo, Moritz Hardt, Celestine Mendler-D\"unner
- Abstract要約: 我々は,米国国勢調査局のアメリカン・コミュニティ・サーベイに基づいて,モデルによる調査回答から何が学べるかを検討する。
まず、より小さなモデルは重要な位置を持ち、例えば「A」という文字でラベル付けされたアンケート応答に対するラベル付けバイアスを持つ。
第二に、ランダムな回答順序付けによってこのラベル付けバイアスを調整するとき、モデルはまだアメリカの人口統計や認識可能な人口統計に傾向はない。
- 参考スコア（独自算出の注目度）: 21.07651489312416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models increase in capability, researchers have started to
conduct surveys of all kinds on these models with varying scientific
motivations. In this work, we examine what we can learn from a model's survey
responses on the basis of the well-established American Community Survey (ACS)
by the U.S. Census Bureau. Evaluating more than a dozen different models,
varying in size from a few hundred million to ten billion parameters, hundreds
of thousands of times each on questions from the ACS, we systematically
establish two dominant patterns. First, smaller models have a significant
position and labeling bias, for example, towards survey responses labeled with
the letter "A". This A-bias diminishes, albeit slowly, as model size increases.
Second, when adjusting for this labeling bias through randomized answer
ordering, models still do not trend toward US population statistics or those of
any cognizable population. Rather, models across the board trend toward
uniformly random aggregate statistics over survey responses. This pattern is
robust to various different ways of prompting the model, including what is the
de-facto standard. Our findings demonstrate that aggregate statistics of a
language model's survey responses lack the signals found in human populations.
This absence of statistical signal cautions about the use of survey responses
from large language models at present time.
- Abstract（参考訳）: 大きな言語モデルが能力を高めるにつれて、研究者は様々な科学的動機を持つあらゆる種類のモデルを調査し始めた。
本研究では,米国国勢調査局が確立したアメリカン・コミュニティ・サーベイ(ACS)に基づいて,モデルによる調査回答から何が学べるかを検討する。
ACSの質問に対して、1ダース以上の異なるモデルを評価し、そのサイズは数億から100億のパラメータで、それぞれ数十万回、系統的に2つの支配的なパターンを確立しました。
第一に、小さなモデルは重要な位置を持ち、例えば"A"という文字でラベル付けされた調査回答に対するバイアスがある。
このaバイアスは、モデルサイズが大きくなるにつれてゆっくりと減少する。
第2に、ランダムな回答順序でこのラベル付けバイアスを調整する場合、モデルはまだアメリカの人口統計や認識可能な人口の統計には傾向がない。
むしろ、調査回答に対する一様無作為な集計統計に対するボード全体の傾向のモデルである。
このパターンは、デファクトスタンダード(de-facto standard)など、モデルを促すさまざまな方法に対して堅牢です。
以上の結果から, 言語モデルのサーベイ応答の集計統計では, 人口の信号が不足していることが判明した。
この統計信号の欠如は、現在、大規模言語モデルによる調査応答の使用について注意が必要である。
関連論文リスト
- Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。
医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。
以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-07-11T16:51:33Z) - A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。
我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
論文 参考訳（メタデータ） (2024-06-14T17:38:21Z) - Using LLMs to Model the Beliefs and Preferences of Targeted Populations [4.0849074543032105]
本研究では,人間の嗜好をモデル化する大規模言語モデル (LLM) の整合性について考察する。
特定の集団の信念、好み、行動のモデル化は、様々な応用に有用である。
論文 参考訳（メタデータ） (2024-03-29T15:58:46Z) - Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a
Large Language Model Based on Group-Level Demographic Information [15.435605802794408]
大規模言語モデルは、人口統計情報に関連する社会的バイアスを示す。
人口サブグループの意見をエミュレートする「ランダムシリコンサンプリング」を提案する。
言語モデルは、実際のアメリカの世論調査と非常によく似た応答分布を生成できる。
論文 参考訳（メタデータ） (2024-02-28T08:09:14Z) - Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
人為的なデータに基づく微調整言語モデル(LM)が普及している。
我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。
ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
論文 参考訳（メタデータ） (2023-12-11T18:17:43Z) - Using Artificial Populations to Study Psychological Phenomena in Neural
Models [0.0]
言語モデルにおける認知行動の調査は、意味のある結果を得るために適切な集団で行う必要がある。
我々は、実験集団を効率的に構築するために、新しいアプローチにおける不確実性推定の作業を活用する。
本研究では,不確実性推定文献の理論的根拠と,言語モデルに関する現在の認知作業からのモチベーションを提供する。
論文 参考訳（メタデータ） (2023-08-15T20:47:51Z) - Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。
得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。
この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
論文 参考訳（メタデータ） (2023-06-04T08:09:26Z) - Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural
Language Generation [68.9440575276396]
この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。
まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。
第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。
第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
論文 参考訳（メタデータ） (2023-05-01T17:36:06Z) - Predicting Census Survey Response Rates With Parsimonious Additive
Models and Structured Interactions [14.003044924094597]
本研究では, フレキシブルで解釈可能な非パラメトリックモデル群を用いて, アンケート応答率を予測することの問題点を考察する。
この研究は、米国国勢調査局(US Census Bureau)の有名なROAMアプリケーションによって動機付けられている。
論文 参考訳（メタデータ） (2021-08-24T17:49:55Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳（メタデータ） (2021-06-02T00:48:33Z) - UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。
モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。
我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
論文 参考訳（メタデータ） (2020-10-06T01:49:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。