論文の概要: Polypersona: Persona-Grounded LLM for Synthetic Survey Responses
- arxiv url: http://arxiv.org/abs/2512.14562v1
- Date: Tue, 16 Dec 2025 16:33:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-17 16:49:26.793269
- Title: Polypersona: Persona-Grounded LLM for Synthetic Survey Responses
- Title(参考訳): ポリペルソナ:合成サーベイ応答のためのペルソナ周囲LLM
- Authors: Tejaswani Dash, Dinesh Karri, Anudeep Vurity, Gautam Datla, Tazeem Ahmad, Saima Rafi, Rohith Tangudu,
- Abstract要約: PolyPersonaは、複数のドメインにわたるペルソナ条件のサーベイレスポンスを合成するための生成フレームワークである。
10のドメインと433の異なるペルソナにまたがる3,568の総合的なサーベイ応答のデータセットを構築した。
その結果, TinyLlama 1.1B や Phi-2 などのコンパクトモデルでは, 7B から 8B のベースラインに匹敵する性能が得られた。
- 参考スコア(独自算出の注目度): 1.3225135098402387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces PolyPersona, a generative framework for synthesizing persona-conditioned survey responses across multiple domains. The framework instruction-tunes compact chat models using parameter-efficient LoRA adapters with 4-bit quantization under a resource-adaptive training setup. A dialogue-based data pipeline explicitly preserves persona cues, ensuring consistent behavioral alignment across generated responses. Using this pipeline, we construct a dataset of 3,568 synthetic survey responses spanning ten domains and 433 distinct personas, enabling controlled instruction tuning and systematic multi-domain evaluation. We evaluate the generated responses using a multi-metric evaluation suite that combines standard text generation metrics, including BLEU, ROUGE, and BERTScore, with survey-specific metrics designed to assess structural coherence, stylistic consistency, and sentiment alignment.Experimental results show that compact models such as TinyLlama 1.1B and Phi-2 achieve performance comparable to larger 7B to 8B baselines, with a highest BLEU score of 0.090 and ROUGE-1 of 0.429. These findings demonstrate that persona-conditioned fine-tuning enables small language models to generate reliable and coherent synthetic survey data. The proposed framework provides an efficient and reproducible approach for survey data generation, supporting scalable evaluation while facilitating bias analysis through transparent and open protocols.
- Abstract(参考訳): 本稿では,複数のドメインにわたるペルソナ条件付きサーベイ応答を合成するための生成フレームワークであるPolyPersonaを紹介する。
4ビット量子化を持つパラメータ効率のLoRAアダプタをリソース適応型トレーニング設定で用いた,フレームワーク命令チューニングによるコンパクトチャットモデル。
対話ベースのデータパイプラインは、ペルソナキューを明示的に保存し、生成されたレスポンス間で一貫した振舞いのアライメントを保証する。
このパイプラインを用いて、10つのドメインと433の異なるペルソナにまたがる3,568の総合的なサーベイ応答のデータセットを構築し、制御された命令チューニングと系統的なマルチドメイン評価を可能にした。
我々は, BLEU, ROUGE, BERTScoreなどの標準テキスト生成指標と, 構造的コヒーレンス, スタイル的整合性, 感傷的整合性を評価するための調査特化指標とを組み合わせたマルチメトリック評価スイートを用いて, 生成した応答を評価し, 実験結果から, BLEUスコアが0.090, ROUGE-1が0.029であるTinyLlama 1.1B, Phi-2などのコンパクトモデルが, より大きい7Bから8Bのベースラインに匹敵する性能を達成できることを示した。
これらの結果から,ペルソナ条件による微調整により,小型言語モデルが信頼性と一貫性のある総合的なサーベイデータを生成できることが示唆された。
提案するフレームワークは,透過的かつオープンなプロトコルによるバイアス分析を容易にしながら,スケーラブルな評価をサポートしながら,データ生成を効率的かつ再現可能なアプローチを提供する。
関連論文リスト
- Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble [46.82793004650415]
大規模言語モデル(LLM)は、様々なタスクにまたがる人間のような応答をエミュレートする可能性を実証している。
本研究では,LLMをエージェントプロキシとして扱う新しいアライメントフレームワークを提案する。
我々は、構造化されたプロンプトエンジニアリング、エントロピーに基づくサンプリング、回帰に基づく選択を用いて、LLMエージェントを代表的行動パターンに向けて操るシステムであるP2Pを紹介する。
論文 参考訳(メタデータ) (2025-09-14T15:08:45Z) - Emulating Public Opinion: A Proof-of-Concept of AI-Generated Synthetic Survey Responses for the Chilean Case [0.0]
大規模言語モデル (LLMs) は、調査研究における方法論的および応用的な革新のための有望な道を提供する。
チリの世論確率論的調査から, LLM生成型人工サーベイ応答の信頼性を評価する。
論文 参考訳(メタデータ) (2025-09-11T21:43:59Z) - Large Language Models as Virtual Survey Respondents: Evaluating Sociodemographic Response Generation [18.225151370273093]
本稿では,Large Language Models (LLMs) を用いた仮想調査回答者のシミュレーションを行う。
部分属性シミュレーション(PAS)と完全属性シミュレーション(FAS)の2つの新しいシミュレーション設定を導入する。
LLM-S3 (Large Language Model-based Sociodemography Simulation Survey) は4つの社会学領域にまたがる11の現実世界の公開データセットにまたがる総合ベンチマークスイートである。
論文 参考訳(メタデータ) (2025-09-08T04:59:00Z) - Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。
本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
論文 参考訳(メタデータ) (2025-02-21T20:29:02Z) - Beyond Sample-Level Feedback: Using Reference-Level Feedback to Guide Data Synthesis [54.15152681093108]
参照レベルフィードバック(Reference-Level Feedback)は、厳選された参照サンプルから望ましい特徴を抽出し、高品質な命令応答対の合成を導くパラダイムである。
実験により、参照レベルフィードバックは従来のサンプルレベルのフィードバック手法を一貫して上回り、モデルアーキテクチャ全体にわたって一般化し、高品質で多様なデータを低コストで生成することを示した。
論文 参考訳(メタデータ) (2025-02-06T21:29:00Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳(メタデータ) (2024-12-18T15:38:39Z) - Offline Regularised Reinforcement Learning for Large Language Models Alignment [33.483481840098925]
我々はフレームワークと関連するアルゴリズムとしてDRO(emphDirect RewardOptimization)を提案する。
DROは、様々な方法で実装できる単純な平均2乗の目的を使用する。
論文 参考訳(メタデータ) (2024-05-29T14:11:29Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳(メタデータ) (2023-04-04T17:54:32Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳(メタデータ) (2020-04-20T13:26:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。