論文の概要: Learning to Harvest Without Collapse in a Regenerative Commons: A Lagrangian Framework
- arxiv url: http://arxiv.org/abs/2609.36478v1
- Date: Tue, 29 Sep 2026 01:37:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.094239
- Title: Learning to Harvest Without Collapse in a Regenerative Commons: A Lagrangian Framework
- Title（参考訳）: 再生コモンズにおける崩壊のないハーベストの学習:ラグランジアンフレームワーク
- Abstract要約: 我々は,再生コモンズを制約付きマルコフゲームや,デザイナー指定の枯渇予算による制約付きマルチエージェントMDPとして定式化し,明確な要件を整備する。
我々は、制約のないゲームや協調制御問題の解からポリシーシーケンスを構築する非定常ラグランジアンフレームワークを開発する。
ゴードン=シェーファー漁業における拘束型IPPOとMAPPOを用いた実験は、枯渇予算が在庫維持、収穫報酬、価格適応をどのように形成するかを検証した。
- 参考スコア（独自算出の注目度）: 2.000890150701116
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The tragedy of the commons poses a multi-agent safety problem: reward-seeking agents can deplete a shared resource, and cooperation among its users does not itself specify how much must be preserved. We make preservation an explicit requirement by formulating a regenerative commons as a constrained Markov game or a constrained multi-agent MDP with a designer-specified depletion budget. We develop a nonstationary Lagrangian framework that constructs a policy sequence from solutions of unconstrained games or cooperative control problems. Extending earlier time-average constructions, we introduce average-epoch solution concepts for reset episodes with discounted rewards and terminal costs. We prove a reward-independent feasibility certificate, cooperative feasibility and approximate optimality against feasible policy mixtures, and an extension to unbiased sampled costs. For self-interested agents, a constrained Nash certificate quantifies the price-dispersion term introduced by deviations that redistribute budget across epochs. Under the stated assumptions on solver accuracy and multiplier updates, these results give constrained policy-sequence guarantees using solutions of unconstrained problems. Experiments with constrained IPPO and MAPPO in a Gordon-Schaefer fishery examine how depletion budgets shape stock retention, harvest rewards, and price adaptation.
- Abstract（参考訳）: 報酬を求めるエージェントは共有リソースを減らし、ユーザ間の協力は、保存すべき量そのものを規定していない。
我々は,再生コモンズを制約付きマルコフゲームや,デザイナー指定の枯渇予算による制約付きマルチエージェントMDPとして定式化し,明確な要件を整備する。
我々は、制約のないゲームや協調制御問題の解からポリシーシーケンスを構築する非定常ラグランジアンフレームワークを開発する。
従来の時間平均構成を拡張して、割引報酬と端末コストでリセットされたエピソードに対して、平均的エポックなソリューションの概念を導入する。
我々は、報酬非依存のフィージビリティ証明、協力的なフィージビリティと、実現可能な政策混合に対する近似最適性を証明し、未バイアスのサンプルコストを拡張した。
自己関心のあるエージェントに対しては、制約付きNash証明書は、エポック全体で予算を再分配する逸脱によって導入された価格分散の項を定量化する。
解法精度と乗算器更新に関する仮定に基づいて、これらの結果は制約のない問題の解を用いて、制約付きポリシー系列を保証する。
ゴードン=シェーファー漁業における拘束型IPPOとMAPPOを用いた実験は、枯渇予算が在庫維持、収穫報酬、価格適応をどのように形成するかを検証した。
関連論文リスト
- Counterfactual Shapley Credit Assignment [49.39649767581182]
クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。
対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。
我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
論文 参考訳（メタデータ） (2026-07-18T23:28:20Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。
GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。
チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
論文 参考訳（メタデータ） (2026-05-12T03:20:24Z) - Escaping the Diversity Trap in Robotic Manipulation via Anchor-Centric Adaptation [50.23374353859762]
多様な単発デモを収集することで「最大限のカバレッジ」を達成できる。
我々は、この現象を包括的-密度トレードオフとして定式化する。
Anchor-Centric Adaptation (ACA) は、2段階のフレームワークで、まずコアアンカーでの繰り返しデモを通じてポリシースケルトンを安定化し、次に教師力によるエラーマイニングと制約付き残差更新を通じて高リスク境界までカバー範囲を広げる。
論文 参考訳（メタデータ） (2026-05-08T07:35:24Z) - Constrained Contextual Bandits with Adversarial Contexts [7.798233121583888]
本研究では,予算制約のあるコンテキスト帯について,その逆の文脈を用いて検討する。
この設定において、目的は、後悔と予算制約の違反を同時に制御することである。
論文 参考訳（メタデータ） (2026-05-07T13:04:49Z) - A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression [7.798233121583888]
制約付き文脈帯域幅を逆選択したコンテキストで検討し、各アクションがランダムな報酬を与え、ランダムなコストを発生させる。
我々は、観測された文脈に基づいて、期待が既知の関数クラスに属する固定分布から、報酬とコストを独立に引き出すという標準的な実現可能性仮定を採用する。
論文 参考訳（メタデータ） (2026-02-04T20:19:55Z) - Likelihood Reward Redistribution [0.0]
本稿では,報酬再分配のためのEmphLikelihood Reward Redistribution (LRR) フレームワークを提案する。
ソフトアクター・クライブのような非政治的アルゴリズムと統合すると、LRRは密度が高く情報的な報奨信号を生成する。
論文 参考訳（メタデータ） (2025-03-20T20:50:49Z) - Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。
本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。
本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
論文 参考訳（メタデータ） (2025-02-07T12:07:57Z) - A Unifying Framework for Online Optimization with Long-Term Constraints [62.35194099438855]
我々は,意思決定者が長期的制約の対象となる一連の意思決定をしなければならないオンライン学習問題について検討する。
目標は、全報酬を最大化し、同時に、$T$ラウンド全体で小さな累積違反を達成することである。
本稿では,この一般クラス問題に対して,未知のモデルに基づいて報酬と制約が選択された場合と,各ラウンドで敵が選択した場合の双方において,最良世界型アルゴリズムを提示する。
論文 参考訳（メタデータ） (2022-09-15T16:59:19Z) - Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax
Regret [5.1398743023989555]
我々は、各腕に関連する報酬の分布が時間変動であると仮定する非定常的マルチアーミングバンディット(MAB)問題を研究する。
提案手法は, 変動予算を満たした報酬分配系列の組に対する後悔の前提となる, 最悪の場合の後悔という観点から, 提案手法の性能を特徴付ける。
論文 参考訳（メタデータ） (2021-01-22T07:34:09Z) - Hierarchical Adaptive Contextual Bandits for Resource Constraint based
Recommendation [49.69139684065241]
コンテキスト多重武装バンディット(MAB)は、様々な問題において最先端のパフォーマンスを達成する。
本稿では,階層型適応型文脈帯域幅法(HATCH)を提案する。
論文 参考訳（メタデータ） (2020-04-02T17:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。