論文の概要: Distribution Shift Alignment Helps LLMs Simulate Survey Response Distributions

• arxiv url: http://arxiv.org/abs/2510.21977v1
• Date: Fri, 24 Oct 2025 19:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.719427
• Title: Distribution Shift Alignment Helps LLMs Simulate Survey Response Distributions
• Title（参考訳）: 配電シフトアライメントはLLMがサーベイ応答分布をシミュレートするのに役立つ
• Authors: Ji Huang, Mengfei Li, Shuai Shao,
• Abstract要約: 大規模言語モデル(LLM)は、人間のサーベイ応答をシミュレートする有望な方法を提供する。 既存のゼロショット法は、迅速な感度と低い精度に悩まされている。 本研究では,2段階の微調整手法である分散シフトアライメント(DSA)を導入する。
• 参考スコア（独自算出の注目度）: 4.1019080523855775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) offer a promising way to simulate human survey responses, potentially reducing the cost of large-scale data collection. However, existing zero-shot methods suffer from prompt sensitivity and low accuracy, while conventional fine-tuning approaches mostly fit the training set distributions and struggle to produce results more accurate than the training set itself, which deviates from the original goal of using LLMs to simulate survey responses. Building on this observation, we introduce Distribution Shift Alignment (DSA), a two-stage fine-tuning method that aligns both the output distributions and the distribution shifts across different backgrounds. By learning how these distributions change rather than fitting training data, DSA can provide results substantially closer to the true distribution than the training data. Empirically, DSA consistently outperforms other methods on five public survey datasets. We further conduct a comprehensive comparison covering accuracy, robustness, and data savings. DSA reduces the required real data by 53.48-69.12%, demonstrating its effectiveness and efficiency in survey simulation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間のサーベイレスポンスをシミュレートする有望な方法を提供する。 しかし、既存のゼロショット法は迅速な感度と低い精度に悩まされる一方、従来の微調整法はトレーニングセットの分布にほぼ適合し、トレーニングセット自体よりも正確な結果を得るのに苦労する。 この観測に基づいて,2段階の微調整法である分散シフトアライメント(DSA)を導入する。 トレーニングデータに適合するのではなく、これらの分布がどのように変化するかを学ぶことで、DSAはトレーニングデータよりも真の分布にかなり近い結果を提供できる。 実証的に、DSAは5つの公開調査データセットで他の手法を一貫して上回っている。 さらに、正確性、堅牢性、データ保存を包括的に比較する。 DSAは必要な実データを53.48-69.12%削減し、調査シミュレーションの有効性と効率を実証した。

関連論文リスト

• Bayesian Distributional Models of Executive Functioning [14.526123380149924]
  本研究は、既往の独立最大値推定(IMLE)と比較して、分布遅延変数モデル(DLVM)とベイズ分布アクティブリーニング(DALE)がどのように機能するかを評価するために、既知の地絡パラメータを用いた制御シミュレーションを用いる。 DLVMは、特に少ないデータ量でIMLEを一貫して上回り、真の分布の高精度な推定よりも高速に収束する。 DALEは、特に最初の80回の試験において、情報収集、ランダムサンプリング、固定テストバッテリの最大化のために、適応的にサンプリングを誘導した。
  論文  参考訳（メタデータ） (2025-10-01T00:59:31Z)
• Improved Diffusion-based Generative Model with Better Adversarial Robustness [65.38540020916432]
  拡散確率モデル(DPM)は、生成タスクにおいて大きな成功を収めた。 デノナイジングプロセスでは、入力データ分布はトレーニングと推論の段階によって異なる。
  論文  参考訳（メタデータ） (2025-02-24T12:29:16Z)
• Parallel Split Learning with Global Sampling [9.57839529462706]
  クライアント側バッチサイズを動的に調整することで,グローバルバッチサイズを一定に保つサーバ駆動サンプリング戦略を導入する。 これにより、参加するデバイスの数から有効なバッチサイズを分離し、グローバルなバッチが全体のデータ分散をよりよく反映できるようにする。 ベンチマークデータセットにおける実験結果から,提案手法はモデルの精度,訓練効率,収束安定性を向上することを確認した。
  論文  参考訳（メタデータ） (2024-07-22T15:41:23Z)
• Distribution Alignment for Fully Test-Time Adaptation with Dynamic Online Data Streams [19.921480334048756]
  TTA(Test-Time Adaptation)は、テストデータストリームの適応と推論を可能にする。 本稿では,TTAにおける新しい配電アライメント損失を提案する。 我々は、非i.d.シナリオにおける既存の手法を超越し、理想的なi.d.仮定の下で競争性能を維持する。
  論文  参考訳（メタデータ） (2024-07-16T19:33:23Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Simple and effective data augmentation for compositional generalization [64.00420578048855]
  MRをサンプリングし,それらを逆翻訳するデータ拡張法は,合成一般化に有効であることを示す。 注目すべきは、一様分布からのサンプリングは、テスト分布からのサンプリングとほぼ同等に実行されることである。
  論文  参考訳（メタデータ） (2024-01-18T09:13:59Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Global Distance-distributions Separation for Unsupervised Person Re-identification [93.39253443415392]
  既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。 本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。 本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-06-01T07:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。