論文の概要: Augmented Hypothesis Testing with Persona-Based LLM Simulations

• arxiv url: http://arxiv.org/abs/2609.24629v1
• Date: Mon, 21 Sep 2026 14:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.31725
• Title: Augmented Hypothesis Testing with Persona-Based LLM Simulations
• Title（参考訳）: ペルソナを用いたLLMシミュレーションによる拡張仮説検証
• Abstract要約: A/Bテストには、大きなサンプルサイズ、長いタイムライン、かなりのコストが必要です。 本稿では,未知品質の予測を利用して,統計的妥当性を維持しつつ,サンプルサイズを小さくする学習強化仮説テストの原理的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 18.000121495849324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A/B testing requires large sample sizes, long timelines, and significant costs. When auxiliary predictions of experimental outcomes are available from machine learning models, uncertain prediction quality precludes replacing human experiments entirely, yet these predictions may still contain useful signal. We propose a principled framework for learning-augmented hypothesis testing that leverages predictions of unknown quality to reduce sample sizes while maintaining statistical validity. Predictions naturally vary in granularity, from coarse aggregate signals to fine-grained individual-level estimates, and our framework addresses both ends of this spectrum: (1) for population-level directional predictions, where only a binary signal on the treatment effect sign is available, we use an asymmetric test and prove consistency and robustness bounds within the learning-augmented algorithms paradigm; (2) for individual-level predictions, we introduce Generalized PPI++ (GPPI), extending Prediction-Powered Inference to handle nonlinear prediction errors through higher-dimensional transformations. Both methods benefit from accurate predictions while remaining robust to inaccurate or adversarial ones. We validate our framework using persona-based LLM simulations, where AI agents equipped with user personas predict individual behavior, as a natural prediction source spanning both granularity levels. Experiments on four real-world datasets demonstrate that our methods, combined with persona-based predictions, substantially reduce experimental costs while preserving rigorous statistical validity.
• Abstract（参考訳）: A/Bテストには、大きなサンプルサイズ、長いタイムライン、かなりのコストが必要です。 機械学習モデルから実験結果の補助的予測が利用できる場合、不確実な予測品質は人間の実験を完全に置き換えることを妨げるが、これらの予測は有用な信号を含むかもしれない。 本稿では,未知品質の予測を利用して,統計的妥当性を維持しつつ,サンプルサイズを小さくする学習強化仮説テストの原理的枠組みを提案する。 1) 集団レベルの指向性予測では, 処理効果符号のバイナリ信号のみが利用可能である場合, 非対称テストを用い, 学習強化アルゴリズムのパラダイム内での一貫性と堅牢性の境界を証明し, (2) 個人レベルの予測では, GPPI++(Generalized PPI++)を導入し, 予測パワー推論を拡張して高次元変換による非線形予測を処理している。 どちらの手法も正確な予測の恩恵を受けるが、不正確または逆の予測には頑健である。 我々は,ユーザペルソナを備えたAIエージェントが,両方の粒度レベルにまたがる自然な予測源として,個人行動を予測するペルソナに基づくLLMシミュレーションを用いて,我々のフレームワークを検証する。 4つの実世界のデータセットに対する実験により,本手法とペルソナに基づく予測を組み合わせることで,厳密な統計的妥当性を維持しつつ,実験コストを大幅に削減できることが示された。

関連論文リスト

• Prediction-Powered Causal Inferences [59.98498488132307]
  予測型因果推論(PPCI)に焦点をあてる まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。 次に、実験間での十分な表現制約伝達の妥当性を導入する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Assumption-Lean and Data-Adaptive Post-Prediction Inference [1.5050365268347254]
  本稿では,ML予測データに基づく有効かつ強力な推論を可能にするPoSt-Prediction Adaptive Inference (PSPA)を提案する。 シミュレーションと実データによる手法の統計的優位性と適用性を示す。
  論文  参考訳（メタデータ） (2023-11-23T22:41:30Z)
• Prediction-Powered Inference [68.97619568620709]
  予測を用いた推論は、実験データセットに機械学習システムからの予測を補足した場合に有効な統計的推論を行うためのフレームワークである。 このフレームワークは、手段、量子、線形およびロジスティック回帰係数などの量に対して証明可能な信頼区間を計算するための単純なアルゴリズムを生成する。 予測による推論により、研究者は機械学習を使用して、より有効な、よりデータ効率の高い結論を導き出すことができる。
  論文  参考訳（メタデータ） (2023-01-23T18:59:28Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。