論文の概要: Self-organizing reinforcement learning: a swarm approaches the explore-exploit optimum

• arxiv url: http://arxiv.org/abs/2610.25113v1
• Date: Sun, 18 Oct 2026 08:45:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.000309
• Title: Self-organizing reinforcement learning: a swarm approaches the explore-exploit optimum
• Title（参考訳）: 自己組織型強化学習 : 群れが探索・探索最適化に近づく
• Abstract要約: 我々は,最小限の採餌群が学習者や報奨信号なしで最適に近づくことを示す。 これは、最小のスウォームの自己組織物理学が、最適なRL探索に近い集合を運べる実演である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The explore/exploit trade-off is the core problem of reinforcement learning (RL). We show that a minimal foraging swarm approaches its optimum - the ideal-free / Nash allocation of a multi-agent resource-sharing game (an equilibrium, not a return maximum) - with no learner and no reward signal. Agents explore by heavy-tailed (Levy) flights, recruit neighbours to a discovery through a threshold cascade on their proximity network, and disperse as a patch crowds; this cascade cycle balances exploration and exploitation and drives foragers toward the ideal free distribution. The swarm attains the shape of this optimum (committed foragers track richness with slope 0.94) but not its exact equilibrium - it stays measurably exploitable - reaching it dynamically (~150 steps) through the coupling of recruitment to movement: remove the coupling and matching collapses (0.94 -> 0.08). The RL sits at the level of the problem and the allocation reached, not the micro-rule: no step evaluates payoff (reward-free by construction, though the crowd signal is informationally tied to payoff), and the swarm reaches the allocation without learning it (quality plateaus and re-settles after resources move, no cumulative gain). Against a trained baseline the comparison is two-sided: in an easier, disembodied game a learner is more precise, while in the same embodied environment the reward-free swarm reaches ~65% of a validated oracle ceiling at zero training and leads until trained PPO and centralised-critic (CTDE) learners overtake it (~74-75%, 16 seeds, all above the swarm mean) after ~4,000 of 15,000 training steps - its advantage is in budget, not asymptote. In this one setting we read it not as beating RL but as a strong zero-shot, reward-free operating point: a demonstration that the self-organizing physics of a minimal swarm can carry a collective close to the optimum RL seeks, with none of RL's machinery.
• Abstract（参考訳）: 探索・探索のトレードオフは強化学習(RL)の中核的な問題である。 学習者も報酬信号もないマルチエージェントのリソース共有ゲーム(リターン最大ではなく平衡)の理想自由/ナッシュアロケーション(理想自由/ナッシュアロケーション)を最小限の飼料群が最適に近づくことを示す。 エージェントはヘビーテール(レヴィ)のフライトで探索し、近隣ネットワークのしきい値のカスケードを探索し、パッチの群集として分散する。 群れは、この最適形状(コミットされた群れは、勾配0.94で豊かさをトラックする)を得るが、正確な均衡は保たず、動的に(約150ステップ)到達し、リクルートと運動の結合により、結合と整合崩壊を除去する(0.94 ->0.08)。 RLは、マイクロルールではなく、問題と到達したアロケーションのレベルにあり、ペイオフを評価するステップはない(ただし、群衆信号は情報的にペイオフに結び付けられている)し、スワムはそれを学習せずにアロケーションに達する(資源移動後の質の高い高原と再定住、累積利得がない)。 トレーニングされたベースラインに対して、学習者はより簡単で非身体的なゲームではより正確であるが、同じ実施環境では、報酬のないスワムは、ゼロトレーニングで検証されたオラクルの天井の65%に達し、トレーニングされたPPOと中央批判的学習者(CTDE)が15,000のトレーニングステップのうち4000の後に、その優位性は漸近的ではなく予算にある。 この設定では、RLを打つのではなく、強いゼロショット、報酬のない操作ポイントとして読みました: 最小スウォームの自己組織物理学が、RLが求める最適なRLに近づき、RLの機械が存在しないというデモンストレーションです。

関連論文リスト

• IncentRL: The Trade-Off Between Preference Guidance and Task Performance [0.6117371161379209]
  IncentRLは、好みのガイダンスを導入し、外部タスクのパフォーマンスにその効果を明示的に特徴付けるフレームワークである。 本研究では,手動設計,距離に基づく結果プロキシ,定位分布,スコア重み付き係数探索を用いた実践的実装について検討する。
  論文  参考訳（メタデータ） (2026-09-18T09:16:32Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Territory Paint Wars: Diagnosing and Mitigating Failure Modes in Competitive Multi-Agent PPO [0.0]
  テリトリー・ペイント戦争は、ユニティで実施された最小の競争力のある多エージェント強化学習環境である。 我々はこれを,自己再生下での親密な政策最適化の失敗モードを体系的に調査するために利用する。
  論文  参考訳（メタデータ） (2026-04-04T23:48:17Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
  人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。 我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。 我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2024-01-08T17:55:02Z)
• Decentralized model-free reinforcement learning in stochastic games with average-reward objective [1.9852463786440127]
  本アルゴリズムは,次数$T3/4$のサブ線形高確率後悔と次数$T2/3$のサブ線形高確率後悔を実現する。 本アルゴリズムは,従来の手法に比べて計算量が少なく,メモリスペースも少ない。
  論文  参考訳（メタデータ） (2023-01-13T15:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。