論文の概要: A Large Language Model for Feasible and Diverse Population Synthesis

• arxiv url: http://arxiv.org/abs/2505.04196v1
• Date: Wed, 07 May 2025 07:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:36.003011
• Title: A Large Language Model for Feasible and Diverse Population Synthesis
• Title（参考訳）: 可聴・多言語合成のための大規模言語モデル
• Authors: Sung Yoo Lim, Hyunsoo Yun, Prateek Bansal, Dong-Kyu Kim, Eui-Jin Kim,
• Abstract要約: ベイズネットワーク(BN)から派生したトポロジ的順序付けにより自己回帰生成過程を明示的に制御する大規模言語モデル(LLM)の微調整法を提案する。 提案手法は、DGM(Deep Generative Model)で観測される80%よりもはるかに高い約95%の実現可能性を実現する。 これにより、メガシティの人口を合成するなど、大規模アプリケーションにとってコスト効率が高くスケーラブルなアプローチが実現される。
• 参考スコア（独自算出の注目度）: 0.6581049960856515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating a synthetic population that is both feasible and diverse is crucial for ensuring the validity of downstream activity schedule simulation in activity-based models (ABMs). While deep generative models (DGMs), such as variational autoencoders and generative adversarial networks, have been applied to this task, they often struggle to balance the inclusion of rare but plausible combinations (i.e., sampling zeros) with the exclusion of implausible ones (i.e., structural zeros). To improve feasibility while maintaining diversity, we propose a fine-tuning method for large language models (LLMs) that explicitly controls the autoregressive generation process through topological orderings derived from a Bayesian Network (BN). Experimental results show that our hybrid LLM-BN approach outperforms both traditional DGMs and proprietary LLMs (e.g., ChatGPT-4o) with few-shot learning. Specifically, our approach achieves approximately 95% feasibility, significantly higher than the ~80% observed in DGMs, while maintaining comparable diversity, making it well-suited for practical applications. Importantly, the method is based on a lightweight open-source LLM, enabling fine-tuning and inference on standard personal computing environments. This makes the approach cost-effective and scalable for large-scale applications, such as synthesizing populations in megacities, without relying on expensive infrastructure. By initiating the ABM pipeline with high-quality synthetic populations, our method improves overall simulation reliability and reduces downstream error propagation. The source code for these methods is available for research and practical application.
• Abstract（参考訳）: 活動ベースモデル(ABM)における下流活動スケジュールシミュレーションの有効性を確保するためには,多種多様な合成個体群の生成が不可欠である。 変分自己エンコーダや生成逆数ネットワークのような深部生成モデル(DGM)はこの課題に応用されているが、希少だが可塑性な組み合わせ(すなわちゼロをサンプリングする)と非可解な組み合わせ(すなわち構造零点)とのバランスをとるのにしばしば苦労している。 多様性を維持しつつ実現性を向上させるため,ベイズネットワーク(BN)から派生したトポロジ的順序付けにより,自己回帰生成過程を明示的に制御する大規模言語モデル(LLM)の微調整手法を提案する。 実験の結果,LLM-BNアプローチは従来のDGMと独自のLLM(例えばChatGPT-4o)の両方に優れており,数発の学習が可能であることがわかった。 具体的には、DGMの約80%よりもはるかに高い確率で約95%の実現が可能であり、同等の多様性を維持しつつ、実用的な応用に適している。 重要な点として、この手法は軽量なオープンソース LLM に基づいており、標準的なパーソナルコンピューティング環境における微調整と推論を可能にする。 これにより、コストのかかるインフラに頼ることなく、メガシティの人口を合成するなど、大規模アプリケーションにとってコスト効率が高くスケーラブルなアプローチが実現される。 ABMパイプラインを高品質な合成個体群で開始することにより,シミュレーションの信頼性を向上し,下流誤差の伝搬を低減する。 これらの手法のソースコードは、研究および実践的な応用に利用可能である。

関連論文リスト

• Rethinking Scale: The Efficacy of Fine-Tuned Open-Source LLMs in Large-Scale Reproducible Social Science Research [0.0]
  大規模言語モデル(LLM)は、パラメータのサイズと性能を規定するアーキテクチャによって区別される。 社会科学者はテキスト分類タスクにLLMを採用しており、人間のコーダーではスケールが難しい。 本研究は,ChatGPT-4 などのモデルに対して,小型かつ微調整のオープンソース LLM が同等あるいは優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-31T20:26:30Z)
• Amortized Bayesian Multilevel Models [9.831471158899644]
  マルチレベルモデル(MLM)はベイズワークフローの中心的なビルディングブロックである。 MLMは重要な計算上の課題を生じさせ、しばしばその推定と評価は合理的な時間制約の中で難解である。 シミュレーションに基づく推論の最近の進歩は、深層生成ネットワークを用いた複雑な確率モデルに対処するための有望な解決策を提供する。 マルチレベルモデルの確率的因数分解を利用して、効率的なニューラルネットワークトレーニングと、未知のデータセットに対する後続の即時推論を容易にするニューラルネットワークアーキテクチャのファミリーを探索する。
  論文  参考訳（メタデータ） (2024-08-23T17:11:04Z)
• FFHFlow: A Flow-based Variational Approach for Learning Diverse Dexterous Grasps with Shape-Aware Introspection [19.308304984645684]
  マルチフィンガーハンドの多様なグリップを生成できる新しいモデルを提案する。 提案手法は, 高いベースラインに対する性能向上と実行時の効率向上を実現する。 また,現実世界の雑多な作業空間や密集した作業空間において,より多様性の高いオブジェクトを把握できることのメリットも示している。
  論文  参考訳（メタデータ） (2024-07-21T13:33:08Z)
• One-Shot Sensitivity-Aware Mixed Sparsity Pruning for Large Language Models [42.95555008229016]
  そこで本研究では, ヘッセン感度を意識した混合疎水性プルーニング法を, 再トレーニングを必要とせず, 最低50%の疎水性まで適用する方法を提案する。 提案手法の利点は, 空間が極めて高い場合にさらに顕著である。
  論文  参考訳（メタデータ） (2023-10-14T05:43:09Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。