論文の概要: Using Large Language Models as Low-Cost Statistical Estimators for Human-Response Data
- arxiv url: http://arxiv.org/abs/2606.30372v1
- Date: Mon, 29 Jun 2026 14:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.281955
- Title: Using Large Language Models as Low-Cost Statistical Estimators for Human-Response Data
- Title(参考訳): 大規模言語モデルを用いた人間応答データに対する低コスト統計的推定法
- Authors: Haobo Yang,
- Abstract要約: 本研究では,事前学習した大言語モデルが,2乗損失下での条件付き期待値のリスク等価推定を誘導することを示す。
有限サンプル濃度境界と明確な決定規則を持つキャリブレーションプロトコルを提供する。
- 参考スコア(独自算出の注目度): 0.282023281338763
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Quantitative research across the social and behavioral sciences depends on human subject experiments that are expensive, slow, and subject to sampling bias. Here we show that pretrained large language models induce risk-equivalent estimators of conditional expectations under squared loss, establishing restricted functional risk equivalence: under squared loss, the LLM induces an estimator whose risk matches the Bayes optimal risk for squared-loss prediction of conditional expectations for any inference that depends on the data only through the conditional mean. We formalize the LLM as a misspecified functional estimator $T(\hat{P}_n)$ trained on i.i.d.\ data, decompose the estimation error into representation bias $ε_{\mathrm{rep}}$ and optimization error, and prove that under mild regularity conditions the LLM's expected error converges to the irreducible population variance plus the squared representation bias, with the representation bias bounded by the Pinsker inequality. The identifiability error $δ$ propagates into the effective bias, inflating the asymptotic risk floor. We establish restricted functional risk equivalence via a bidirectional Le Cam deficiency analysis: the forward deficiency vanishes asymptotically while the reverse deficiency is exactly zero. We provide finite-sample concentration bounds and a calibration protocol with explicit decision rules. The result is a precise, provable statement: a well-calibrated LLM achieves the Bayes-optimal risk for conditional-mean-dependent inference, bounded by explicit scope conditions. In practical applications, this means that under satisfied conditions and well-calibrated models, large language models can be used in many prediction and decision-making tasks that originally relied on human experiments, approximating near-optimal statistical inference at lower cost.
- Abstract(参考訳): 社会科学と行動科学の定量的研究は、高価で遅い、サンプリングバイアスの対象となる人体実験に依存している。
ここでは、事前訓練された大言語モデルが2乗損失下での条件付き期待のリスク等価推定を誘導し、制限された機能的リスク等価性を確立することを示し、LLMは2乗損失の下で、条件付き平均を通してのみデータに依存する任意の推測に対する条件付き期待の2乗リスクに適合するリスクを推定する推定器を誘導する。
We formalize the LLM as a misspecificified functional estimator $T(\hat{P}_n)$ trained on i.d.\ data, decompose the estimation error into representation bias $ε_{\mathrm{rep}}$ and optimization error, and prove that the LLM's expected error converges to the irreducible population variance plus the squared representation bias, with the representation bias by the Pinsker inequality。
識別可能性誤差$δ$は有効バイアスに伝播し、漸近的リスクフロアを膨らませる。
両方向のLe Cam欠損解析による機能的リスク同値性を確立し, 前方欠損は漸近的に消失するが, 後方欠損は正確にゼロである。
有限サンプル濃度境界と明確な決定規則を持つキャリブレーションプロトコルを提供する。
うまく校正されたLLMは、条件付き平均依存推論のベイズ最適リスクを達成し、明示的なスコープ条件によって境界づけられる。
これは、実際の応用において、満たされた条件とよく校正されたモデルの下で、大きな言語モデルは、もともと人間の実験に頼っていた多くの予測や意思決定のタスクに利用でき、より低コストでほぼ最適な統計的推測を近似することができることを意味している。
関連論文リスト
- Beyond Consistency: Inference for the Relative risk functional in Deep Nonparametric Cox Models [7.2275111013288535]
Coxをベースとした最適化誤差が、部分的可能性の下で集団リスクにどのように伝播するかは明らかでない。
また、ポイントワイドバイアスがどのように制御できるのか、またアンサンブルに基づく不確実性が現実的な分散体制の下でどのように振る舞うのかも不明である。
これらの問題に対処するディープコックス推定器の分布理論を開発する。
論文 参考訳(メタデータ) (2026-03-25T01:43:12Z) - Outrigger local polynomial regression [0.15293427903448023]
本研究では,異なる条件付き誤差分布の分布適応性を実現するために,重み付き局所推定器を提案する。
条件スコア推定の影響を安定化するために、より広いローカルウィンドウのデータを描画する。
推定器がHlderクラスに対して最適であることは、乗法係数$A_,d$まで証明する。
論文 参考訳(メタデータ) (2026-03-11T20:19:09Z) - Statistical Estimation of Adversarial Risk in Large Language Models under Best-of-N Sampling [50.872910438715486]
大規模言語モデル(LLM)は、通常、単一ショットまたは低予算の逆のプロンプトの下で安全性を評価する。
我々は,Best-of-Nサンプリングの下でのジェイルブレイク脆弱性をモデル化するための,スケーリング対応のリスク推定手法であるSABERを提案する。
論文 参考訳(メタデータ) (2026-01-30T06:54:35Z) - Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。
本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
論文 参考訳(メタデータ) (2023-09-15T22:06:29Z) - Learning from a Biased Sample [2.7728441305894447]
本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。
本研究では,健康調査データからメンタルヘルススコアの予測を行うケーススタディにおいて,提案手法を実証的に検証した。
論文 参考訳(メタデータ) (2022-09-05T04:19:16Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳(メタデータ) (2021-03-23T17:48:56Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Error bounds in estimating the out-of-sample prediction error using
leave-one-out cross validation in high-dimensions [19.439945058410203]
高次元状態におけるサンプル外リスク推定の問題について検討する。
広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。
この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
論文 参考訳(メタデータ) (2020-03-03T20:07:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。