論文の概要: Adaptive Resource Allocation for Effective and Efficient LLM Social Survey Simulation
- arxiv url: http://arxiv.org/abs/2609.35216v1
- Date: Mon, 28 Sep 2026 14:04:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 15:59:26.795316
- Title: Adaptive Resource Allocation for Effective and Efficient LLM Social Survey Simulation
- Title(参考訳): 効果的なLLMソーシャルサーベイシミュレーションのための適応的資源配分
- Abstract要約: 大規模言語モデル(LLM)は、スケーラブルな社会調査シミュレーションを可能にする。
既存のパイプラインは、通常、同じ強力な汎用モデルと、全ての応答要求に対して、固定され、しばしば大きな応答履歴を使用する。
本稿では,要求毎にモデルと履歴予算を共同で選択する適応型リソース割り当てフレームワークであるE2Simを提案する。
- 参考スコア(独自算出の注目度): 12.770782477243165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) enable scalable social survey simulation, yet existing pipelines typically use the same strong general-purpose model and a fixed, often large, respondent history for every respondent-question request. This uniform approach overlooks three factors. First, stronger models may rely on their own knowledge rather than respondent-specific evidence while costing more. Second, additional history can help when evidence is limited, but irrelevant responses may add noise and increase input length. Third, the preferred model and history budget can depend on each other. We propose E2Sim, an adaptive resource allocation framework that jointly selects a model and history budget for each request. Given a respondent persona, ranked response history, and target question, a lightweight policy predicts the accuracy and cost of each configuration and selects the most suitable one. We use respondent-history drop-and-swap augmentation to improve robustness to incomplete or variable histories, and a margin-based curriculum that progresses from easier allocation decisions to harder ones. Experiments on four real-world social survey datasets, multiple model pools, and different history-budget spaces show improvements over the oracle best-fixed configurations, with accuracy gains of up to 6.3 percentage points and cost reductions of up to 55.3 percent. Code is available at https://anonymous.4open.science/r/E2Sim-DE66.
- Abstract(参考訳): 大規模言語モデル(LLM)は、スケーラブルな社会調査シミュレーションを可能にするが、既存のパイプラインは、通常、すべての応答要求に対して、同じ強力な汎用モデルと、固定され、しばしば大きな応答履歴を使用する。
この一様アプローチは3つの要因を見落としている。
第一に、より強力なモデルは、よりコストがかかる一方で、応答性特異的な証拠よりも、自身の知識に依存しているかもしれない。
第二に、証拠が限られている場合に、追加の履歴が役立つが、無関係な応答はノイズを増し、入力長が増加する可能性がある。
第三に、好みのモデルと履歴の予算は互いに依存することができる。
本稿では,要求毎にモデルと履歴予算を共同で選択する適応型リソース割り当てフレームワークであるE2Simを提案する。
応答ペルソナ、ランク付けされた応答履歴、ターゲット質問が与えられた場合、軽量ポリシーは各構成の正確性とコストを予測し、最も適切なものを選択する。
我々は、不完全または可変な履歴に対する堅牢性を改善するために、応答型/履歴型ドロップアンドスワップ拡張と、より簡単なアロケーション決定からより難しいものへと進歩するマージンベースのカリキュラムを使用します。
4つの実世界の社会調査データセット、複数のモデルプール、異なる歴史予算空間の実験では、オラクルの最良の設定よりも改善され、精度は6.3%まで向上し、コストは55.3%まで削減された。
コードはhttps://anonymous.4open.science/r/E2Sim-DE66で公開されている。
関連論文リスト
- AlignDiff: Exploiting Model-Intrinsic Information for Better Preference Data Selection [53.61691036434302]
固有モデル信号によって駆動される嗜好データフィルタリングフレームワークであるAlignDiffを提案する。
AlpacaEval 2.0、Arena-Hard、MT-Benchベンチマークを評価した。
AlignDiffの有効性を検証するために包括的アブレーション研究を行っている。
論文 参考訳(メタデータ) (2026-09-05T05:51:23Z) - Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys [0.0]
大規模言語モデルは低コストで総合的なサーベイ応答を生成することができるが、その精度は質問によって予測不可能に変化する。
各タスクに安価なLCM予測が利用できる場合, 評価タスク全体にわたって, ヒトの定型予算を割り当てる設計問題について検討する。
まず、予測パワー推論に基づいて、推定器のばらつきがヒトのサンプルサイズでどれだけ早く減少するかを判断する、疑問特異的な補正の難しさを特徴付ける。
第2に,LLMの信頼性が低いタスクに対して,より人間的なラベルを指示するクローズドフォームの最適アロケーションルールを導出する。
論文 参考訳(メタデータ) (2026-04-19T05:45:37Z) - Large Language Models as Virtual Survey Respondents: Evaluating Sociodemographic Response Generation [18.225151370273093]
本稿では,Large Language Models (LLMs) を用いた仮想調査回答者のシミュレーションを行う。
部分属性シミュレーション(PAS)と完全属性シミュレーション(FAS)の2つの新しいシミュレーション設定を導入する。
LLM-S3 (Large Language Model-based Sociodemography Simulation Survey) は4つの社会学領域にまたがる11の現実世界の公開データセットにまたがる総合ベンチマークスイートである。
論文 参考訳(メタデータ) (2025-09-08T04:59:00Z) - Intention-Conditioned Flow Occupancy Models [80.42634994902858]
大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。
同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。
生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
論文 参考訳(メタデータ) (2025-06-10T15:27:46Z) - FactGuard: Leveraging Multi-Agent Systems to Generate Answerable and Unanswerable Questions for Enhanced Long-Context LLM Extraction [25.00896070082754]
抽出読解システムは、与えられたテキスト内の質問に対する正しい答えを見つけるように設計されている。
永続的な課題は、これらのモデルが、答えられないクエリを確実に認識しながら、質問に答える上で高い精度を維持することである。
マルチエージェント協調フレームワークを基盤とした革新的なデータ拡張手法を提案する。
論文 参考訳(メタデータ) (2025-04-08T01:45:16Z) - Adaptive political surveys and GPT-4: Tackling the cold start problem with simulated user interactions [5.902306366006418]
適応質問票は, アンケート参加者に対して, 前の回答に基づいて, 次の質問を動的に選択する。
デジタル化により、これらは政治科学などの応用分野における伝統的な調査の代替となる。
1つの制限は、質問の選択のためにモデルをトレーニングするデータへの依存である。
適応型政治調査の統計モデルを事前学習するために,合成データが利用できるかどうかを検討する。
論文 参考訳(メタデータ) (2025-03-12T12:02:36Z) - Unleashing LLM Reasoning Capability via Scalable Question Synthesis from Scratch [54.12139707822201]
本稿では,新しい,スケーラブルで費用対効果の高いデータ合成手法であるScaleQuestを提案する。
スクラッチから多様な質問を生成することで、100万の問題解決ペアのデータセットを生成します。
私たちの実験では、データに基づいてトレーニングされたモデルが、既存のオープンソースデータセットより優れています。
論文 参考訳(メタデータ) (2024-10-24T12:42:04Z) - Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。
実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。
人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
論文 参考訳(メタデータ) (2023-05-24T02:00:51Z) - QUADRo: Dataset and Models for QUestion-Answer Database Retrieval [97.84448420852854]
質問/回答(q/a)ペアのデータベース(DB)が与えられた場合、同じ質問に対してDBをスキャンすることで、対象の質問に答えることができる。
我々は6.3Mのq/aペアからなる大規模DBを構築し、公開質問を用いて、ニューラルIRとq/aペアリランカに基づく新しいシステムを設計する。
我々は、Bing検索エンジン上に構築されたQAシステムという、Webベースの手法とDBベースのアプローチが競合することを示す。
論文 参考訳(メタデータ) (2023-03-30T00:42:07Z) - SRQA: Synthetic Reader for Factoid Question Answering [21.28441702154528]
我々はSRQAと呼ばれる新しいモデルを導入し、これはFactoid Question AnsweringのためのSynthetic Readerを意味する。
このモデルは,多文書シナリオにおける質問応答システムを3つの側面から強化する。
WebQAデータセット上でSRQAを行い、実験により、我々のモデルが最先端のモデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-09-02T13:16:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。