論文の概要: Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models
- arxiv url: http://arxiv.org/abs/2607.15277v1
- Date: Thu, 16 Jul 2026 17:59:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.207917
- Title: Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models
- Title（参考訳）: 分割, Prompt, Aggregate: 言語モデルにおける統計的自己整合性
- Abstract要約: 総確率の法則は、事前重み付けされた条件分布は、人口の有効な分割について、人口レベルの限界に集約されると主張している。
我々は二分木を評価用足場として,個体群を細粒度に分割する。
言語化されたサブポピュレーション記述を文脈で実行し、その結果の見積もりを集団レベルの推定に集約し、異なる粒度のパーティション間で比較する。
- 参考スコア（独自算出の注目度）: 45.42736932931535
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In-context learning is commonly interpreted as a form of conditional inference, in which the prompt specifies a context and the model's output is treated as an estimate of the corresponding conditional distribution. If this interpretation holds, then LLM estimates should satisfy basic probabilistic identities. In particular, the law of total probability asserts that prior-weighted conditional distributions aggregate into population-level marginals over any valid partition of the population. In this work, we investigate to what extent LLM estimates adhere to this self-consistency principle. We use binary trees as an evaluation scaffold to recursively partition a population into increasingly fine-grained subpopulations. We then prompt LLMs with verbalized subpopulation descriptions in context, aggregate the resulting estimates back into population-level estimates, and compare them across partitions of varying granularity. Applying this protocol across problem domains and state-of-the-art frontier models, we show widespread violations of basic consistency properties. An in-depth study of persona prompting reveals a pattern we call the macro fallacy: estimates reconstructed from more fine-grained subpopulation responses are often better aligned with human reference data than direct population-level estimates. This effect persists across variations in tree structure and estimation task, and can be partially recovered through implicit prompting. Together, these findings suggest that models possess relevant subpopulation knowledge but do not reliably propagate it into aggregate estimates. This gap establishes statistical self-consistency as an unsaturated, reference-free criterion for evaluating LLMs.
- Abstract（参考訳）: インコンテキスト学習は条件推論の形式として一般的に解釈され、プロンプトがコンテキストを指定し、モデルの出力を対応する条件分布の推定として扱う。
この解釈が成り立つなら、LLM推定は基本的な確率的同一性を満たすべきである。
特に、全確率の法則は、事前重み付けされた条件分布は、人口の有効な分割よりも人口レベルの限界に集約されると主張している。
本研究では,LLM推定値がこの自己整合原理にどの程度準拠するかを検討する。
我々は二分木を評価用足場として,個体群を細粒度化に再帰的に分割する。
次に,言語化されたサブポピュレーション記述を文脈としてLLMをプロンプトし,その結果の見積もりを集団レベルの推定値に集約し,粒度の異なるパーティション間で比較する。
このプロトコルを問題領域と最先端フロンティアモデルに適用すると、基本的一貫性特性の広範な違反を示す。
よりきめ細かなサブポピュレーション応答から再構成された推定は、直接の人口レベルの推定よりも人間の参照データと整合していることが多い。
この効果は木構造と推定タスクのバリエーションにまたがって持続し、暗黙のプロンプトによって部分的に回復することができる。
これらの結果は、モデルが関連するサブポピュレーション知識を持っているが、それを集合的推定に確実に伝播していないことを示唆している。
このギャップは、LSMを評価するための不飽和な基準のない基準として統計的自己整合性を確立する。
関連論文リスト
- Generalized Score Matching for Parameter Estimation on Convex Domains [13.954816561132942]
一般化されたスコアマッチングの目的を$mathbbRd$の凸部分集合上で導出する。
非負のデータに対する古典的なスコアマッチングとドメイン適応型の変種が、提案フレームワーク内で自然に発生することを示す。
我々の導出は、様々な問題設定における一般化されたスコアマッチングのスコープと適用性に新たな光を当てる。
論文 参考訳（メタデータ） (2026-09-10T13:23:41Z) - Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳（メタデータ） (2026-08-20T06:26:03Z) - Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases [0.0]
大規模言語モデル(LLM)の制御行動評価のための分析的正確なフレームワークを提案する。
因果的主因果的および相互作用的効果を系統的に分離するために,非構造的プロンプトを完全クロスファクター実験に置き換える。
我々は、これらのPMFを解析的に処理するために、多変量順序のコンセンサスメトリックと分布ANOVAを導出する。
当社の枠組みは,5つのLDMを対象とした消費者倫理中心主義のケーススタディを用いて検証し,我々のアプローチが,ベンチマークを不明瞭に集約する全体的国家偏見をいかに分離するかを実証した。
論文 参考訳（メタデータ） (2026-08-11T05:20:06Z) - Beyond Averages: Evaluating LLMs on Human Survey Replication at the Distributional Level [8.995779634140495]
韓国のインスタントヌードル購入における非公益消費者選択実験を用いて,2010年調査の再現性を評価した。
我々は、平均レベル、パターン、分布アライメントにおける人間とLLMの反応を比較し、人間のデータのみからの基準ベースラインと比較した。
論文 参考訳（メタデータ） (2026-06-08T04:22:15Z) - Evidence-based Distributional Alignment for Large Language Models [58.65469623911573]
LLM分布推定の忠実度とロバスト性を改善する証拠に基づくアライメント手法であるEvi-DAを提案する。
対象国が与えられた場合、Evi-DAは関連するWorld Values Survey項目とその回答分布を検索し、オプション毎に粗いヴェルツェル値シグネチャを予測し、国条件の回答分布を構造化形式で推測する。
論文 参考訳（メタデータ） (2026-03-03T03:34:06Z) - Differential privacy with dependent data [1.8835490533310795]
We show that Winsorized mean estimator can be used under dependent for bounded data。
我々は,対数ソボレフ不等式による関節非有界観測への依存性を定式化する。
我々の研究は、依存データに対する差分プライバシー(DP)の体系的研究に向けた第一歩となる。
論文 参考訳（メタデータ） (2025-11-23T18:56:40Z) - The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。
予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
論文 参考訳（メタデータ） (2025-11-06T14:46:35Z) - MF-LLM: Simulating Population Decision Dynamics via a Mean-Field Large Language Model Framework [53.82097200295448]
MF-LLM(Mean-Field LLM)は,まず平均場理論を社会シミュレーションに取り入れる。
MF-LLMは反復過程を通じて個人と人口間の双方向相互作用をモデル化する。
IB-Tuneは、Information Bottleneckの原理にインスパイアされた、新しい微調整手法である。
論文 参考訳（メタデータ） (2025-04-30T12:41:51Z) - Benchmarking Distributional Alignment of Large Language Models [43.0198231524816]
言語モデル(LM)は、人々のシミュラクラ(simulacra)として使われることが多いが、特定の人口集団の視点の分布と一致する能力は、いまだに不明である。
我々は、政治的価値を超えて拡張されたデータセットを構築し、このタスクのための人間のベースラインを作成し、LMが特定のグループの意見分布とどの程度一致できるかを評価する。
本分析により, ALMが人体をシミュレートするかどうか, どのように利用できるか, およびLCMがそのような分布をシミュレートするよりも, より正確に意見分布を記述できるのかが明らかとなった。
論文 参考訳（メタデータ） (2024-11-08T08:41:17Z) - Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。
LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。
結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
論文 参考訳（メタデータ） (2023-05-01T18:22:10Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳（メタデータ） (2022-03-24T01:09:46Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。