論文の概要: Towards Scaling Reinforcement Learning to Massive Populations: Learning Mean-Field Representations
- arxiv url: http://arxiv.org/abs/2609.02928v1
- Date: Wed, 26 Aug 2026 18:54:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.794217
- Title: Towards Scaling Reinforcement Learning to Massive Populations: Learning Mean-Field Representations
- Title（参考訳）: 大規模人口への強化学習の展開に向けて--平均的表現の学習
- Abstract要約: 大人口システムでは、ダイナミクスは個体の同一性よりも集団の集合的な要約に依存する。
平均場RLフレームワークを導入し、報酬と遷移のダイナミクスは未知の低次元集合統計量を通してのみ人口に依存する。
実生活におけるサプライチェーン最適化問題に動機付けられ,低次元の集団表現の学習が報酬予測を改善するという仮説を検証するために,一段階のルーティングゲームを設計する。
- 参考スコア（独自算出の注目度）: 21.920988041622035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern multi-agent systems are increasingly deployed at scale over large populations of agents in settings such as ad-auctions, traffic routing, and recommendation systems. The dominant approach in such settings is to optimize each agent's policy independently, treating the other agents as part of a fixed single-agent environment rather than modeling the population dynamics. In many large-population systems, the dynamics depend on an aggregate summary of the population rather than the identity of any individual. Mean-field RL exploits such structure, providing a principled framework that models each agent's environment as an explicit function of the population distribution. However, in large state-action spaces or high-dimensional control problems, modeling the population distribution is itself intractable. How can we design a scalable framework for high-dimensional control problems with large populations? This work explores this question from the perspective of representation learning. We introduce a mean-field RL framework in which the rewards and transition dynamics depend on the population only through an unknown low-dimensional aggregate statistic. We then study this framework in the offline setting and design a provable approach that learns a near-optimal policy by learning a low-dimensional representation. Motivated by real-life supply-chain optimization problems, we design a one-step routing game to test the hypothesis that learning a low-dimensional population representation improves reward prediction and Nash gap estimation relative to baselines that don't exploit this structure. We show that under a fixed neural-network parameter count and optimization budget, learning a low-dimensional population representation improves reward prediction and the equilibrium quality of the resulting policies.
- Abstract（参考訳）: 現代のマルチエージェントシステムは、広告オークション、トラフィックルーティング、レコメンデーションシステムなどの設定において、多数のエージェントに対して大規模にデプロイされている。
このような設定において支配的なアプローチは、集団力学をモデル化するのではなく、固定された単一エージェント環境の一部として、各エージェントのポリシーを独立に最適化することである。
多くの大規模人口システムでは、ダイナミクスは個体の同一性よりも集団の集合的な要約に依存している。
平均場RLはそのような構造を利用し、各エージェントの環境を人口分布の明示的な関数としてモデル化する原則的なフレームワークを提供する。
しかし、大きな状態作用空間や高次元制御問題では、人口分布のモデル化自体が難解である。
人口の多い高次元制御問題に対するスケーラブルなフレームワークをどうやって設計できるのか?
この研究は、表現学習の観点からこの問題を探求する。
平均場RLフレームワークを導入し、報酬と遷移のダイナミクスは未知の低次元集合統計量を通してのみ人口に依存する。
次に、このフレームワークをオフライン設定で研究し、低次元表現を学習することで、ほぼ最適ポリシーを学ぶための証明可能なアプローチを設計する。
実生活におけるサプライチェーン最適化の問題に触発され,低次元の人口表現を学習することで,この構造を利用していないベースラインに対する報酬予測とナッシュギャップ推定が向上するという仮説を,一段階のルーティングゲームで検証する。
固定されたニューラルネットワークパラメータカウントと最適化予算の下で、低次元の人口表現を学習することで、報酬予測と結果の平衡品質が向上することを示す。
関連論文リスト
- Mean-Field Diffuser: Scaling Offline MARL to Thousands of Agents [18.152109081372544]
軌道分布のワッサーシュタイン空間に軌道計画を持ち上げるフレームワークであるMF-Diffuserを紹介する。
我々は、MF-Diffuserが、最適でないオフラインデータと極端なスケールで、ほとんどの設定において最高のリターンを達成することを示す。
論文 参考訳（メタデータ） (2026-05-28T16:32:56Z) - AdaEvolve: Adaptive LLM Driven Zeroth-Order Optimization [61.535567824938205]
本稿では,LLMによる進化を階層的適応最適化問題として再構成するフレームワークであるAdaEvolveを紹介する。
AdaEvolveは185の異なるオープンエンド最適化問題において、オープンエンドベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-23T18:45:31Z) - Group size effects and collective misalignment in LLM multi-agent systems [0.0874967598360817]
我々は、集団バイアスが以前評価されたよりも深い現象であることを示した。
群のサイズが非線形な方法での力学に影響を与えることを実証する。
これらの結果から,マルチエージェント・ダイナミクスのキードライバとしてグループサイズが確立された。
論文 参考訳（メタデータ） (2025-10-25T19:45:45Z) - Hidden Representation Clustering with Multi-Task Representation Learning towards Robust Online Budget Allocation [25.524699372749957]
マーケティング最適化は、一般的にオンライン予算配分問題として定式化され、ユーザーの成長を促進する重要な要因となっている。
本稿では,クラスタの観点から問題を解く新しい手法を提案する。
論文 参考訳（メタデータ） (2025-06-01T11:09:07Z) - MF-LLM: Simulating Population Decision Dynamics via a Mean-Field Large Language Model Framework [53.82097200295448]
MF-LLM(Mean-Field LLM)は,まず平均場理論を社会シミュレーションに取り入れる。
MF-LLMは反復過程を通じて個人と人口間の双方向相互作用をモデル化する。
IB-Tuneは、Information Bottleneckの原理にインスパイアされた、新しい微調整手法である。
論文 参考訳（メタデータ） (2025-04-30T12:41:51Z) - Networked Communication for Mean-Field Games with Function Approximation and Empirical Mean-Field Estimation [59.01527054553122]
分散エージェントは、経験的システムの非絶対的実行から平均フィールドゲームにおいて平衡を学ぶことができる。
既存の設定に関数近似を導入し,Munchausen Online Mirror Descent 方式で描画する。
ポリシー情報の交換は,ネットワーク化されたエージェントが,機能近似設定において,独立エージェントと集中エージェントの両方より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-21T13:32:46Z) - A Single Online Agent Can Efficiently Learn Mean Field Games [16.00164239349632]
平均場ゲーム (MFGs) は大規模人口システムの振る舞いをモデル化するための有望なフレームワークである。
本稿では,オンラインサンプルを用いてMFNEを学習できるオンライン単エージェントモデルフリー学習方式を提案する。
論文 参考訳（メタデータ） (2024-05-05T16:38:04Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [86.99017195607077]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Reinforcement Learning in Linear Quadratic Deep Structured Teams: Global
Convergence of Policy Gradient Methods [0.0]
モデルベースおよびモデルフリー政策勾配勾配と自然政策勾配勾配アルゴリズムのグローバル収束性について検討する。
このようなシステムでは、エージェントをいくつかのサブポピュレーションに分割し、各サブポピュレーション内のエージェントを動的およびコスト関数で結合する。
論文 参考訳（メタデータ） (2020-11-29T16:02:39Z) - BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization [48.30183416069897]
BayGoは、ベイズ学習とグラフ最適化のフレームワークである。
本研究の枠組みは、完全連結および恒星トポロジーグラフと比較して、より高速な収束と精度を実現する。
論文 参考訳（メタデータ） (2020-11-09T11:16:55Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳（メタデータ） (2020-03-19T13:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。