論文の概要: An Evolutionary Computation Framework for Multi-Agent Q-Learning with Mean-Field Environmental Feedback

• arxiv url: http://arxiv.org/abs/2609.13253v1
• Date: Sat, 05 Sep 2026 08:34:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.672263
• Title: An Evolutionary Computation Framework for Multi-Agent Q-Learning with Mean-Field Environmental Feedback
• Title（参考訳）: 環境フィードバックを考慮したマルチエージェントQ-Learningのための進化的計算フレームワーク
• Abstract要約: ネットワーク化された集団におけるマルチエージェント強化学習は、個別適応、地域遭遇、環境条件の変化の相互作用によって制御される。 エージェントが固定グラフ上で状態のない$Q$-値を更新する複合学習環境モデルを定式化する。 ランダム正則, Erds--Rényi, Barabsi--Albert, ランダム幾何グラフ上での有限ネットワークモンテカルロシミュレーションに対して, このモデルを評価する。
• 参考スコア（独自算出の注目度）: 10.82234570531022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent reinforcement learning in networked populations is governed by the interaction between individual adaptation, local encounters, and changing environmental conditions. To study this interaction, we formulate a coupled learning--environment model in which agents update stateless $Q$-values on a fixed graph, while their population-average behavior drives an environmental variable that dynamically modifies the payoff matrix. Under a first-order mean-field closure, we derive a deterministic transport equation for the population distribution of $Q$-values and couple it with a projected discrete update for the environmental state. The resulting model is evaluated against finite-network Monte Carlo simulations on random regular, Erdős--Rényi, Barabási--Albert, and random geometric graphs. Across the tested parameter ranges, the mean-field system reproduces the main macroscopic cooperation and environmental trajectories, and the trajectory-level root-mean-square error generally decreases with population size and average degree. The analysis further shows that environmental feedback reshapes the learned action-value ordering, while reinforcing feedback can produce pronounced dependence on the initial learning bias and resource level. The environmental timescale also plays an important role: a rapid response can drive the resource state to a boundary before learning adapts, whereas a slower response preserves the interaction between behavioral learning and environmental recovery. These results provide a population-level description of coupled reinforcement learning and environmental dynamics and characterize the performance of the mean-field approximation within the tested network and parameter ranges.
• Abstract（参考訳）: ネットワーク化された集団におけるマルチエージェント強化学習は、個々の適応、局所的な出会い、環境条件の変化の相互作用によって制御される。 この相互作用を研究するために、エージェントが固定グラフ上で状態のない$Q$-値を更新する結合学習環境モデルを定式化し、それらの集団平均行動は、ペイオフ行列を動的に修正する環境変数を駆動する。 一階平均場閉鎖の下では、Q$-値の集団分布に対する決定論的輸送方程式を導出し、予測された環境状態に対する離散的な更新と組み合わせる。 得られたモデルは、ランダム正則上の有限ネットワークモンテカルロシミュレーション、エルデシュ=レーニ、バラバシ=アルベルト、およびランダム幾何グラフに対して評価される。 実験対象のパラメータの範囲を超えて, 平均場系は主マクロ的協調と環境軌道を再現し, 軌道レベルのルート平均二乗誤差は個体数と平均度で減少する。 分析の結果,環境フィードバックは学習行動値の順序付けに反するが,フィードバックの強化は初期学習バイアスと資源レベルに顕著な依存をもたらすことが示された。 迅速な応答は、学習が適応する前にリソース状態を境界まで駆動し、遅い応答は行動学習と環境回復の間の相互作用を保存する。 これらの結果から,人口レベルの強化学習と環境動態の複合化について記述し,テスト対象ネットワークとパラメータ範囲における平均場近似の性能を特徴付けることができた。

関連論文リスト

• LiveSim: Simulating Environment-Shaped Users in Multi-Agent Live-Stream Ecosystems [53.47971344451318]
  ライブストリームエコシステムシミュレーションのための LLM ベースのフレームワーク textbfLiveSim を提案する。 ユーザーを編集可能な行動仮説として表現し、軌道と地上の相互作用を通じてそれらを徐々に洗練する。 実世界のライブストリームリスクコントロールデータを用いた実験は、ユーザレベルの行動忠実度向上におけるLiveSimの有効性を検証する。
  論文  参考訳（メタデータ） (2026-08-27T09:16:29Z)
• Role-Aware Conditional Inference for Spatiotemporal Ecosystem Carbon Flux Prediction [32.547109051574836]
  Role-Aware Inference (RACI)は、条件付きエコシステムのフラックス予測を条件付き問題として定式化するプロセスインフォームド学習フレームワークである。 これらの異なる機能的役割を明示的にモデル化することにより、RACIはモデルが様々な環境体制にまたがって予測を適応させることができる。
  論文  参考訳（メタデータ） (2026-03-03T21:29:20Z)
• Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation [57.65688895630163]
  ACuRLは自律的なカリキュラム強化学習フレームワークで、エージェントを人間データゼロの特定の環境に継続的に適応させる。 本研究では,環境内学習と環境横断学習の両方を効果的に実現し,既存の環境を忘れずに4～22%の性能向上を実現した。
  論文  参考訳（メタデータ） (2026-02-10T23:06:02Z)
• Evolving Graph Learning for Out-of-Distribution Generalization in Non-stationary Environments [61.62036321848316]
  グラフニューラルネットワーク(GNN)は、動的グラフ上の空間的パターンと時間的パターンを利用する際、顕著な成功を収めている。 既存のGNNは、動的シナリオでは避けられない分散シフトの下での能力の低下を示す。 本稿では環境対応不変パターン認識によるグラフ一般化(Evoal)の進化のための進化型グラフ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-04T08:22:29Z)
• From Pheromones to Policies: Reinforcement Learning for Engineered Biological Swarms [0.0]
  本研究では, フェロモンを介するセロモン凝集と強化学習(RL)の理論的等価性を確立する。 我々は,フェロモンが数学的に相互学習の更新を反映していることを示し,捕食作業を行う線虫群をモデル化した。 この結果から, 環境信号が外部メモリとして機能する分散RLプロセスは, スティグマイシン系が本質的にコード化されていることが示唆された。
  論文  参考訳（メタデータ） (2025-09-24T13:16:35Z)
• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• Mitigating Graph Covariate Shift via Score-based Out-of-distribution Augmentation [16.59129444793973]
  トレーニングとテストデータセット間の分散シフトは、グラフ学習におけるモデルパフォーマンスを著しく損なう。 本稿では,全体のグラフパターンの妥当性と安定性を保ちつつ,未知の環境特徴を合成するスコアベースのグラフ生成戦略を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T02:09:02Z)
• LITE: Modeling Environmental Ecosystems with Multimodal Large Language Models [25.047123247476016]
  LITEは環境生態系モデリングのための大きな言語モデルである。 異なる環境変数を自然言語記述や線グラフ画像に変換することで統一する。 このステップでは、不完全な機能は、sparse Mixture-of-Expertsフレームワークによって説明される。
  論文  参考訳（メタデータ） (2024-04-01T15:14:07Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。