論文の概要: Evaluating LLM-persona Generated Distributions for Decision-making

• arxiv url: http://arxiv.org/abs/2602.06357v1
• Date: Fri, 06 Feb 2026 03:39:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.21866
• Title: Evaluating LLM-persona Generated Distributions for Decision-making
• Title（参考訳）: 意思決定のためのLLM-persona生成分布の評価
• Authors: Jackie Baek, Yunhan Chen, Ziyu Chi, Will Ma,
• Abstract要約: LLMは、人間の評価や嗜好を模倣するシミュレートされたペルソナから、世界知識に基づいた需要予測まで、豊富なデータを生成することができる。 このようなLLM生成ディストリビューションは、下流の意思決定をどの程度サポートしていますか? そこで本研究では,これらのLCM生成分布の質を評価するための指標について検討した。
• 参考スコア（独自算出の注目度）: 8.190530023131876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs can generate a wealth of data, ranging from simulated personas imitating human valuations and preferences, to demand forecasts based on world knowledge. But how well do such LLM-generated distributions support downstream decision-making? For example, when pricing a new product, a firm could prompt an LLM to simulate how much consumers are willing to pay based on a product description, but how useful is the resulting distribution for optimizing the price? We refer to this approach as LLM-SAA, in which an LLM is used to construct an estimated distribution and the decision is then optimized under that distribution. In this paper, we study metrics to evaluate the quality of these LLM-generated distributions, based on the decisions they induce. Taking three canonical decision-making problems (assortment optimization, pricing, and newsvendor) as examples, we find that LLM-generated distributions are practically useful, especially in low-data regimes. We also show that decision-agnostic metrics such as Wasserstein distance can be misleading when evaluating these distributions for decision-making.
• Abstract（参考訳）: LLMは、人間の評価や嗜好を模倣するシミュレートされたペルソナから、世界知識に基づいた予測まで、豊富なデータを生成することができる。 しかし、このようなLLM生成ディストリビューションは下流の意思決定をどの程度サポートしていますか? 例えば、新製品の価格設定を行う場合、企業はLCMに対して、製品の説明に基づいて消費者がいくら支払おうとしているかをシミュレートするように促すことができる。 この手法を LLM-SAA と呼び、LLM を用いて推定分布を構築し、その分布に基づいて決定を最適化する。 本稿では, LLM の生成する分布の質を評価するための指標について, それらが導出する決定に基づいて検討する。 3つの標準的意思決定問題(アソート最適化、価格設定、ニュースベンダ)を例に、LLM生成分布は、特に低データ体制において実用的に有用であることが判明した。 また、意思決定のためにこれらの分布を評価する際に、ワッサースタイン距離のような意思決定に依存しない指標が誤解を招く可能性があることを示す。

関連論文リスト

• LLM-Auction: Generative Auction towards LLM-Native Advertising [10.695066036409274]
  LLMネイティブ広告のためのオークションとLLM生成を統合した学習型生成オークション機構を提案する。 本稿では,報酬モデルとLLMを交互に最適化するIRPOアルゴリズムを提案する。 LLM-Auctionは、所望の機構特性を達成しつつ、割り当て効率において既存のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-12-11T11:31:20Z)
• LLMs for Resource Allocation: A Participatory Budgeting Approach to Inferring Preferences [17.089038477886486]
  大規模言語モデル(LLM)は、複雑な意思決定タスクを扱うことがますます期待されているが、構造化されたリソース割り当てを実行する能力はいまだ探索されていない。 i) LLMに基づく資源配分の実践的設定と, (ii) それらの推論能力を評価するための適応ベンチマークとして, PB(Participatory Budgeting)を活用する2目的フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-08T06:45:07Z)
• Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models [54.38054999271322]
  我々は,大規模言語モデル (LLM) がベイジアンフレームワークから期待されているように,彼らの信念を更新しないことを示す。 我々は、標準ベイズモデルの予測を模倣するように訓練することで、ベイズ的方法による推論をLLMに教える。 より一般的には,LLMは実例から推論スキルを効果的に学習し,それらのスキルを新しいドメインに一般化できることを示す。
  論文  参考訳（メタデータ） (2025-03-21T20:13:04Z)
• Efficient Sequential Decision Making with Large Language Models [19.083642464977224]
  本稿では,大規模言語モデル(LLM)の成功を逐次意思決定に拡張することに焦点を当てる。 本稿では,オンラインモデル選択アルゴリズムを活用してLLMエージェントを逐次意思決定に効率的に組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T22:13:22Z)
• Do LLMs Play Dice? Exploring Probability Distribution Sampling in Large Language Models for Behavioral Simulation [73.58618024960968]
  人間のシーケンシャルな意思決定過程をエミュレートするエージェントとして、大きな言語モデル(LLM)を採用する研究が増えている。 このことは、確率分布を理解するためにLLMエージェントの容量に関する好奇心を喚起する。 分析の結果, LLM エージェントは確率を理解できるが, 確率サンプリングに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T16:59:28Z)
• $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
  本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。 我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。 我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:08:00Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。