論文の概要: When Can LLM Digital Twins Reduce Human Measurement? From Behavioral Fidelity to Statistical Substitutability

• arxiv url: http://arxiv.org/abs/2609.07987v1
• Date: Mon, 07 Sep 2026 21:05:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.523812
• Title: When Can LLM Digital Twins Reduce Human Measurement? From Behavioral Fidelity to Statistical Substitutability
• Title（参考訳）: LLMデジタル双生児はいつ人間の測定を減らせるか : 行動忠実度から統計的置換性まで
• Abstract要約: デジタル双生児は、人固有の応答を生成することによって、繰り返される人間のデータ収集を減らすことを約束する。 統計的置換性(英語版)は、双子の予測が人間の測定を減少させる範囲を評価する推論基準である。 デジタル双生児は平均的な人間の効果を再現できるが、平均と異なる個人に関する情報はほとんど得られない。
• 参考スコア（独自算出の注目度）: 9.310571879281186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based digital twins promise to reduce repeated human data collection by generating person- specific responses, yet existing evaluations provide little evidence about whether they can reduce human measurement while preserving valid inference. To address this, we introduce statistical substitutability, an inferential criterion that evaluates the extent to which twin predictions can reduce human measurement for a particular estimand while preserving valid inference. We develop a framework, grounded in mixed-subject and prediction-powered inference, that evaluates statistical substitutability along four dimensions: aggregate fidelity, paired respondent-level signal, finite-sample human-label recovery, and stability across populations. Across two empirical evaluations spanning behavioral experiments, multiple models, and alternative respondent representations, we find that digital twins can reproduce average human effects while providing little information about which individuals differ from those averages. Newer models and richer respondent information improve some dimensions of performance but do not reliably translate into human-data savings. Human calibration can reduce aggregate prediction error, yet limited labeled samples often fail to produce stable precision gains. Importantly, these findings demonstrate that behavioral fidelity is neither necessary nor sufficient for statistical substitutability. More broadly, they suggest that AI-generated evidence should be evaluated based on its ability to support valid scientific inference rather than its ability to reproduce human outcomes alone. Digital twins should therefore be judged for confirmatory use by whether they reduce uncertainty about human quantities, not merely by whether they reproduce human means, distributions, or effects.
• Abstract（参考訳）: LLMベースのデジタルツインは、人固有の応答を生成することによって、繰り返し人間のデータ収集を減らすことを約束するが、既存の評価では、有効な推論を維持しながら、人間の測定を減らすことができるかどうかの証拠はほとんど得られていない。 そこで本研究では, 統計的置換性について検討し, 統計的置換性について検討した。 本研究では,混合対象と予測駆動推論を基礎として,集合的忠実度,対応答レベル信号,有限サンプルの人間-ラベル回復,人口間の安定性の4次元に沿った統計的置換性を評価する枠組みを開発する。 行動実験,複数モデル,代替応答表現にまたがる2つの経験的評価から,デジタル双生児は平均的な人間の効果を再現でき,その平均値と個人の違いについてはほとんど情報を提供していないことがわかった。 より新しいモデルとよりリッチな応答情報により、パフォーマンスのいくつかの次元が向上するが、確実に人間のデータ保存に変換されない。 人間のキャリブレーションは、集合予測誤差を減らすことができるが、ラベル付きサンプルは、しばしば安定した精度のゲインを生成できない。 これらの結果は, 行動の忠実度が統計的置換性に必要でもなく, 十分でないことを示している。 より広い範囲で、AIが生み出す証拠は、人間の成果のみを再現する能力よりも、有効な科学的推論を支援する能力に基づいて評価されるべきである。 したがって、デジタル双生児は、人間の手段、分布、効果を再現するだけでなく、人間の量に対する不確実性を減少させるかどうかによって、確認のために判断されるべきである。

関連論文リスト

• This human study did not involve human subjects: Validating LLM simulations as behavioral evidence [15.56427716190418]
  ヒューリスティックなアプローチは、シミュレーションされた観察された人間の行動が交換可能であることを確立する。 統計的キャリブレーションは、観察された反応とシミュレーションされた反応の相違を説明するために、補助的な人間のデータと統計的調整を組み合わせる。
  論文  参考訳（メタデータ） (2026-02-17T18:18:38Z)
• Can Finetuing LLMs on Small Human Samples Increase Heterogeneity, Alignment, and Belief-Action Coherence? [9.310571879281186]
  大規模言語モデル(LLM)は、調査および実験研究における人間の参加者の代用として機能する。 LLMは、しばしば実際の人間の行動と一致せず、限られた多様性を示し、少数派のサブグループに対する体系的なミスアライメントを示し、グループ内でのばらつきが不十分であり、言明された信念と行動の相違を示す。 本研究では、パイロットスタディから得られるような、人間の調査データのごく一部を微調整することで、これらの問題を緩和し、現実的なシミュレーション結果が得られるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-26T09:50:42Z)
• A Mega-Study of Digital Twins Reveals Strengths, Weaknesses and Opportunities for Further Improvement [3.418816254588274]
  個人(デジタル双子)のデジタル表現は、社会科学と意思決定を変革することを約束する。 我々は,米国代表パネルとそのデジタル双生児を対象に,19個の研究を行った。 双子は75%の精度で個々の反応を再現し、人間の答えとの相関は低かった。
  論文  参考訳（メタデータ） (2025-09-23T14:42:14Z)
• Prediction-Powered Causal Inferences [59.98498488132307]
  予測型因果推論(PPCI)に焦点をあてる まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。 次に、実験間での十分な表現制約伝達の妥当性を導入する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Targeted Data Fusion for Causal Survival Analysis Under Distribution Shift [46.84912148188679]
  複数のデータソースにまたがる因果推論は、科学的発見の一般化性と複製性を高めるための有望な道を提供する。 既存のアプローチでは、検閲や離散的かつ連続的な時間の統合など、生存分析のユニークな課題に対処できない。 マルチソース設定におけるターゲットサイト固有の因果効果を推定する2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-30T23:21:25Z)
• Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge [51.93909886542317]
  一つの集計相関スコアを*参照することで、人名と自動評価の基本的な違いが曖昧になることを示す。 本研究では,評価性能のより堅牢な解析を行うために,ラベルの不確実性による階層化データを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:08:29Z)
• Missing Information, Unresponsive Authors, Experimental Flaws: The Impossibility of Assessing the Reproducibility of Previous Human Evaluations in NLP [84.08476873280644]
  13%の論文は (i) 再生の障壁が十分に低く、 (ii) 再生のために考慮すべき十分な入手可能な情報を持っていた。 その結果,コーディネート・リサーチ・デザインを再現的アプローチから標準化的・再生産的アプローチに変更しなければならなかった。
  論文  参考訳（メタデータ） (2023-05-02T17:46:12Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Targeting Underrepresented Populations in Precision Medicine: A Federated Transfer Learning Approach [7.467496975496821]
  多様な人口と複数の医療機関の異種データを統合した双方向データ統合戦略を提案する。 提案手法は, 人口の予測精度と予測精度を向上し, 人口間のモデル性能のギャップを小さくすることを示す。
  論文  参考訳（メタデータ） (2021-08-27T04:04:34Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)
• Enabling Counterfactual Survival Analysis with Balanced Representations [64.17342727357618]
  生存データは様々な医学的応用、すなわち薬物開発、リスクプロファイリング、臨床試験で頻繁に見られる。 本稿では,生存結果に適用可能な対実的推論のための理論的基盤を持つ統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-06-14T01:15:00Z)
• Uncertainty-Gated Stochastic Sequential Model for EHR Mortality Prediction [6.170898159041278]
  本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。 我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
  論文  参考訳（メタデータ） (2020-03-02T04:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。