論文の概要: Silicon Samples Match the Answers but Not the Respondents

• arxiv url: http://arxiv.org/abs/2610.30900v1
• Date: Thu, 22 Oct 2026 08:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.280862
• Title: Silicon Samples Match the Answers but Not the Respondents
• Title（参考訳）: シリコンのサンプルは答えに一致するが責任はない
• Abstract要約: シリコンサンプリングは、大きな言語モデル(LLM)を人口統計学的属性を持つ人物として回答することで、調査回答者を生成する。 既存の評価では、個々の回答の精度、質問ごとの回答の分布、質問間の相関に焦点が当てられている。 本稿では,各応答を全回答プロファイルで定義した点として表現する応答カバレッジギャップ(RCG)を提案する。
• 参考スコア（独自算出の注目度）: 16.10646102342832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Silicon sampling generates survey respondents by having a large language model (LLM) answer a survey as a person with given demographic attributes, and the resulting synthetic populations are increasingly used in place of human ones. Existing evaluations focus on individual-answer accuracy, per-question answer distributions, and correlations across questions. None of these compares the respondents themselves, so a generator whose respondents have combinations of answers found in no human respondent can still score well if it reproduces every answer distribution. We propose the respondent coverage gap (RCG), which represents each respondent as a point defined by their complete answer profile and measures how far each human respondent is from the nearest generated one, relative to the distance between human samples. On two US social surveys, all six LLMs we evaluate leave human respondents uncovered, and under our main settings, they fall behind a baseline that samples each answer independently from the human marginals. Across the prompting and inference settings we test, every LLM has a higher RCG than a Gaussian copula fitted to the human data.
• Abstract（参考訳）: シリコンサンプリング(Silicon sample)は,人口統計モデル(LLM)を用いて,人口統計学的属性を持つ人を対象にした調査を行い,その結果の人工個体群が人間の代用としてますます利用されている。 既存の評価では、個々の回答の精度、質問ごとの回答の分布、質問間の相関に焦点が当てられている。 いずれも回答者自身を比較していないので、回答者が答えの組み合わせを持っていないジェネレータは、答えの分布を再現したとしても、十分なスコアを得られる。 そこで本研究では,各応答を全回答プロファイルで定義した点として表現する応答カバレッジギャップ(RCG)を提案し,ヒト試料間の距離に対して,ヒトの応答が最も近いものからどのくらいの距離にあるかを測定する。 2回の米国社会調査では、評価した6つのLCMがすべて人間の答えを明らかにし、主要な設定の下では、それぞれの答えを人間の限界から独立してサンプリングするベースラインの背後に落ちています。 私たちがテストしたプロンプトと推論の設定全体において、すべてのLCMは、人間のデータに適合するガウスのパウラよりも高いRCGを持っている。

関連論文リスト

• LLMs as survey respondents: Comparison to simple semantic baselines [4.297070083645049]
  大規模言語モデル (LLM) は, 人間の調査回答者のサロゲートとして検討されている。 自動車両や軽量車両に対する姿勢を測定する2つの調査において、3つのLCMがホールドアウト項目に対する応答を予測する方法について検討した。
  論文  参考訳（メタデータ） (2026-10-21T12:26:20Z)
• Simulating Respondents, Not Single Questions: Coherent Survey Generation with Large Language Models [4.1019080523855775]
  既存の単一項目法では、同一人物が完全な調査にどう答えるかを正確に再現することはできない。 本稿では,2種類の特殊LLMを微調整したFullRespondent-LLMを提案する。 2つの実世界のソーシャルサーベイデータセットにおいて、FR-LLMはより正確にマルチクエスト応答パターンを再現し、競合するシングルイテムの精度を維持し、人口や疑問に見当たらないように一般化する。
  論文  参考訳（メタデータ） (2026-09-28T10:24:47Z)
• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• When Can Digital Personas Reliably Approximate Human Survey Findings? [0.8411771830145969]
  大規模言語モデル(LLM)を利用したデジタルペルソナは、人間の調査回答者の代用としてますます提案されている。 人間の調査結果を確実に近似できる時期は、まだ不明である。 我々は、回答者の背景変数と2023年以前の調査履歴からペルソナを構築し、同じ回答者の保留後の回答に対してテストする。
  論文  参考訳（メタデータ） (2026-05-11T14:41:11Z)
• On the Credibility of Evaluating LLMs using Survey Questions [0.42061757959666934]
  近年,大規模言語モデル(LLM)の価値指向を適応型社会調査を用いて評価している。 本稿では, 正確な設定に依存して, 値配向の類似性を過小評価し, 過度に見積もることの限界を明らかにする。 5か国3ヶ国における世界価値調査(World Value Survey)を用いて、直接対思考の連鎖(direct vs. chain-of-thinkt)と復号戦略(greedy vs. sample)が結果に有意な影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2026-02-03T21:45:43Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
  本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。 本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• ChatGPT vs Social Surveys: Probing Objective and Subjective Silicon Population [7.281887764378982]
  大規模言語モデル(LLM)は、社会調査における人間の反応をシミュレートし、信頼できる予測を生成する可能性を秘めている。 GPTにより生成したシリコン試料の集団パラメータを同定するサンプリング分布を生成するために,繰り返しサンプリングを用いる。 以上の結果から、GPTの人口分布は、性別と平均年齢の点で、2020年の米国人口と一致していることがわかった。 GPTの立位スコアの点推定は極めて矛盾しており、特定のイデオロギーに対する明確な傾きを示していない。
  論文  参考訳（メタデータ） (2024-09-04T10:33:37Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。