論文の概要: MF-LLM: Simulating Collective Decision Dynamics via a Mean-Field Large Language Model Framework

• arxiv url: http://arxiv.org/abs/2504.21582v1
• Date: Wed, 30 Apr 2025 12:41:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 18:53:54.833157
• Title: MF-LLM: Simulating Collective Decision Dynamics via a Mean-Field Large Language Model Framework
• Title（参考訳）: MF-LLM: 平均大言語モデルフレームワークによる集団決定ダイナミクスのシミュレーション
• Authors: Qirui Mi, Mengyue Yang, Xiangning Yu, Zhiyu Zhao, Cheng Deng, Bo An, Haifeng Zhang, Xu Chen, Jun Wang,
• Abstract要約: Mean-Field LLM (MF-LLM) フレームワークは、マイクロレベルの決定とマクロレベルの集団の間のフィードバックループを明示的にモデル化する。 MF-LLMは、個人状態とグループレベルの情報に基づいて個別の行動を生成するポリシーモデルと、人口分布を更新する平均フィールドモデルである。 実世界の社会データセット上でMF-LLMを評価し,非平均場ベースラインに対するKLの人口分布への分散を47%削減する。
• 参考スコア（独自算出の注目度）: 53.82097200295448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simulating collective decision-making involves more than aggregating individual behaviors; it arises from dynamic interactions among individuals. While large language models (LLMs) show promise for social simulation, existing approaches often exhibit deviations from real-world data. To address this gap, we propose the Mean-Field LLM (MF-LLM) framework, which explicitly models the feedback loop between micro-level decisions and macro-level population. MF-LLM alternates between two models: a policy model that generates individual actions based on personal states and group-level information, and a mean field model that updates the population distribution from the latest individual decisions. Together, they produce rollouts that simulate the evolving trajectories of collective decision-making. To better match real-world data, we introduce IB-Tune, a fine-tuning method for LLMs grounded in the information bottleneck principle, which maximizes the relevance of population distributions to future actions while minimizing redundancy with historical data. We evaluate MF-LLM on a real-world social dataset, where it reduces KL divergence to human population distributions by 47 percent over non-mean-field baselines, and enables accurate trend forecasting and intervention planning. It generalizes across seven domains and four LLM backbones, providing a scalable foundation for high-fidelity social simulation.
• Abstract（参考訳）: 集団的意思決定のシミュレーションは、個人行動の集約以上のものを含み、個人間の動的相互作用から生じる。 大規模言語モデル(LLM)は社会シミュレーションを約束するが、既存のアプローチは実世界のデータから逸脱することが多い。 このギャップに対処するために,マイクロレベル決定とマクロレベルの集団間のフィードバックループを明示的にモデル化する平均フィールドLLM(MF-LLM)フレームワークを提案する。 MF-LLMは、個人状態とグループレベルの情報に基づいて個別の行動を生成するポリシーモデルと、最新の個人決定から人口分布を更新する平均フィールドモデルである。 共同で展開し、集団意思決定の進化軌道をシミュレートする。 IB-Tuneは,情報ボトルネックの原理を基礎として,歴史的データとの冗長性を最小化しつつ,人口分布と将来の行動との関連性を最大化する,LLMの微調整手法である。 実世界の社会データセット上でMF-LLMを評価し,非平均フィールドベースラインに対するKLの分散を47%削減し,正確なトレンド予測と介入計画を可能にした。 7つのドメインと4つのLDMバックボーンをまたいで一般化し、高忠実度社会シミュレーションのスケーラブルな基盤を提供する。

関連論文リスト

• Mixture-of-Personas Language Models for Population Simulation [20.644911871150136]
  大規模言語モデル(LLM)は、社会科学研究や機械学習モデルトレーニングにおいて、人為的なデータを増やすことができる。 MoPは文脈混合モデルであり、各コンポーネントは、ペルソナとサブポピュレーションの振る舞いを表す例によって特徴づけられるLMエージェントである。 MoPは柔軟性があり、モデル微調整を必要とせず、ベースモデル間で転送可能である。
  論文  参考訳（メタデータ） (2025-04-07T12:43:05Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
  MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。 しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。 本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Improving Group Connectivity for Generalization of Federated Deep Learning [8.594665698279522]
  フェデレートラーニング(FL)では、複数のクライアントが反復的なローカル更新とモデル融合を通じてグローバルモデルを協調的にトレーニングする。 本稿では,基本的な接続性の観点からFLの一般化を研究・改善する。 我々はFedGuCciとFedGuCci+を提案する。
  論文  参考訳（メタデータ） (2024-02-29T08:27:01Z)
• EvoFed: Leveraging Evolutionary Strategies for Communication-Efficient Federated Learning [15.124439914522693]
  Federated Learning(FL)は分散ノード間の協調モデルトレーニングを可能にする分散機械学習パラダイムである。 本稿では,進化戦略(ES)をFLと統合し,これらの課題に対処する新しいアプローチであるEvoFedを提案する。
  論文  参考訳（メタデータ） (2023-11-13T17:25:06Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
  クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。 近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。 地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T00:07:29Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。