論文の概要: A learner-free swarm reaches the explore-exploit equilibrium: A self-organized attractor approximating the reinforcement-learning solution

• arxiv url: http://arxiv.org/abs/2610.25113v3
• Date: Sun, 25 Oct 2026 10:03:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.105954
• Title: A learner-free swarm reaches the explore-exploit equilibrium: A self-organized attractor approximating the reinforcement-learning solution
• Title（参考訳）: 学習者なし群れが探索・爆発平衡に達する:強化学習ソリューションを近似した自己組織的誘引者
• Abstract要約: 最小限の飼料用スワムは学習者や訓練されたパラメータがなく、報酬も報酬も無い自己組織的な引き付け子として、この平衡の形状に到達していることを示す。 PPO学習者に対して、ゼロトレーニング時の報酬なしスワムは、どの学習者よりもIFD勾配に忠実に適合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The explore-exploit trade-off is the core problem of reinforcement learning (RL). In its multi-agent, resource-sharing form the optimum is not a scalar-return maximum but an equilibrium allocation -- the ideal-free distribution (IFD), the Nash equilibrium of a congestion game. We show that a minimal foraging swarm reaches the shape of this equilibrium as a self-organized attractor -- foragers in proportion to resource richness (matching slope 0.94) -- with no learner, no trained parameters, and no payoff or reward read anywhere in its dynamics. Agents explore by heavy-tailed (Levy) flights, recruit neighbours to a discovery through a threshold cascade on their proximity network, and disperse as a patch crowds; removing the coupling of recruitment to movement collapses the matching (slope 0.08). The reinforcement learning is at the level of the problem and the allocation reached, not the micro-rule. The swarm reaches this equilibrium rather than learning it, attaining its shape but not the exact equilibrium: it stays measurably exploitable (Nash-gap 0.58 versus ~0.01 for a converged learner). Against PPO learners (feedforward, centralized-critic, and graph message-passing) trained in the same sensing-limited environment, the reward-free swarm at zero training matches the IFD gradient more faithfully than any learner (slope ~1 vs 0.69-0.91) and ties the best learner's harvest where clustered (both plateau at ~0.80 of an oracle ceiling), while the learner collects more where resource is scarce (0.33 vs 0.22) and holds tighter per-capita intake. Learning thus buys precision and transfer, not a better allocation; neither message passing nor a centralized critic exceeds it at this budget. We read this not as beating RL, but as evidence that a minimal swarm's physics reaches the equilibrium RL seeks without a learner, a reward, or a trained parameter. A companion paper develops the mechanism.
• Abstract（参考訳）: 探索・探索のトレードオフは強化学習(RL)の中核的な問題である。 マルチエージェントのリソース共有形式では、最適はスカラー・リターンの最大値ではなく、イデアル自由分布(IFD)、混雑ゲームのナッシュ平衡である平衡割当である。 我々は,最小限の養殖用スワムが,学習者や訓練されたパラメータが無く,報酬や報酬もなければ,資源豊かさ(マッチングスロープ0.94)に比例して,自己組織的誘引者として,この平衡に到達したことを示す。 エージェントはヘビーテール(レヴィ)のフライトで探索し、近くのネットワークのしきい値のカスケードを通して隣人をリクルートし、パッチの群集として分散する。 強化学習は、マイクロルールではなく、問題とアロケーションが到達したレベルにある。 スワムは学習するよりもこの平衡に到達し、その形状は到達するが、正確な平衡は達成しない: 測定可能な利用が可能である(収束学習者の場合、ナッシュギャップ0.58対0.01)。 PPO学習者 (Feedforward, central-critic, and graph message-passing) に対して、ゼロトレーニング時の報酬なしスワムは、どの学習者よりも忠実にIFD勾配(slope ~1 vs 0.69-0.91)と一致し、最も優れた学習者の収穫物(オラクル天井の ~0.80 の台地)を結びつける。 これにより、学習は正確さと伝達を購入でき、アロケーションが向上するわけではない。 我々はこれを、RLを叩くのではなく、最小のスワムの物理が平衡 RL に到達する証拠として、学習者、報酬、または訓練されたパラメータなしで探すと解釈する。 共用紙がその機構を発達させる。

関連論文リスト

• IncentRL: The Trade-Off Between Preference Guidance and Task Performance [0.6117371161379209]
  IncentRLは、好みのガイダンスを導入し、外部タスクのパフォーマンスにその効果を明示的に特徴付けるフレームワークである。 本研究では,手動設計,距離に基づく結果プロキシ,定位分布,スコア重み付き係数探索を用いた実践的実装について検討する。
  論文  参考訳（メタデータ） (2026-09-18T09:16:32Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Territory Paint Wars: Diagnosing and Mitigating Failure Modes in Competitive Multi-Agent PPO [0.0]
  テリトリー・ペイント戦争は、ユニティで実施された最小の競争力のある多エージェント強化学習環境である。 我々はこれを,自己再生下での親密な政策最適化の失敗モードを体系的に調査するために利用する。
  論文  参考訳（メタデータ） (2026-04-04T23:48:17Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
  人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。 我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。 我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2024-01-08T17:55:02Z)
• Decentralized model-free reinforcement learning in stochastic games with average-reward objective [1.9852463786440127]
  本アルゴリズムは,次数$T3/4$のサブ線形高確率後悔と次数$T2/3$のサブ線形高確率後悔を実現する。 本アルゴリズムは,従来の手法に比べて計算量が少なく,メモリスペースも少ない。
  論文  参考訳（メタデータ） (2023-01-13T15:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。