論文の概要: Strategyproof Deep Reinforcement Learning for Online Resource Allocation

• arxiv url: http://arxiv.org/abs/2610.37504v1
• Date: Tue, 27 Oct 2026 16:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.690652
• Title: Strategyproof Deep Reinforcement Learning for Online Resource Allocation
• Title（参考訳）: オンライン資源配置のための防御的深層強化学習
• Abstract要約: 強化学習は経験を通じて割り当ての決定に適応するが、必ずしも戦略の安全性を保証するとは限らない。 本稿では,オンラインリソースアロケーションのためのアドバンストディープRL機構について紹介する。 i) 建設によって非線形相互作用を学ぶ単調ニューラルネットワーク、(ii) 一般化された臨界支払い、(iii) 既存の規則の模倣またはRLによるトレーニングである。
• 参考スコア（独自算出の注目度）: 3.794415041475588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online resource allocation faces two coupled challenges: (1) allocating scarce resources efficiently under uncertain future demand, and (2) ensuring that agents report task valuations and requirements truthfully (strategyproofness). Reinforcement Learning (RL) adapts allocation decisions through experience but does not necessarily ensure strategyproofness. Existing strategyproof RL uses a linear allocation rule, which limits the resource interactions it can represent. Neural mechanism design methods offer greater expressiveness, but provide only approximate incentive guarantees. Against this background, we introduce the first strategyproof deep RL mechanism for online resource allocation. It integrates three novel components: (i) a monotonic neural network that learns nonlinear interactions by construction (higher reported value cannot reduce acceptance, while a longer reported duration or larger resource requirement cannot increase it); (ii) a generalised critical payment: the lowest accepted value, with all other inputs fixed; and (iii) training by either RL or imitation of an existing rule. Together, monotonicity and the critical payment ensure strategyproofness and individual rationality, while the neural rule provides flexibility and imitation improves training efficiency. Empirically, on a four-resource stream with two partner pairs that a linear difference cannot represent, the neural rule achieves 97.8% of an offline welfare upper bound, compared with 93.8% for a linear learner and 89.0% for first-come, first-served, closing 65% and 80% of the remaining optimality gap, respectively. Moreover, imitation reaches 97.5% in only 261 seconds, about 89 times faster than RL.
• Abstract（参考訳）: オンラインリソース割り当ては,(1)不確実な将来需要下で資源を効率的に割り当てること,(2)エージェントがタスク評価や要求を真に報告すること(ストラテジーセーフネス)の2つの課題に直面する。 強化学習(RL)は、経験を通じて割り当ての決定に適応するが、必ずしも戦略の安全性を保証するとは限らない。 既存の戦略保護RLは線形アロケーションルールを使用しており、それが表現できるリソースの相互作用を制限する。 ニューラルメカニズム設計法はより表現力が高いが、近似的なインセンティブ保証のみを提供する。 そこで本研究では,オンラインリソースアロケーションのためのアドバンスト・ディープRL機構について紹介する。 3つの新しいコンポーネントを統合する。 i) 建設による非線形相互作用を学習するモノトニックニューラルネットワーク(高い報告値では受理を抑えることができず、長い報告期間以上のリソース要求ではそれを増加させることができない) (二 一般臨界支払:他のすべての入力を固定した最低限の受理額 三 既存の規則のRL又は模倣による訓練 モノトニック性とクリティカルペイメントは共に戦略の正当性と個別の合理性を保証する一方、ニューラルルールは柔軟性を提供し、模倣は訓練効率を向上させる。 経験的に、線形差が表現できない2つのパートナーペアを持つ4つのソースストリームにおいて、ニューラルネットワークルールは、線形学習者では93.8%、一次学習者では89.0%、一次学習者では89.0%、残りの最適性ギャップでは65%と80%と、オフライン福祉上限の97.8%を達成する。 さらに、模倣はわずか261秒で97.5%に達し、RLの約89倍速い。

関連論文リスト

• ReFlow: Replay-Driven Decoupling for Efficient RL Post-Training [19.87602453303641]
  ReFlowは、効率的なLLMポストトレーニングのためのシステム指向のRLフレームワークである。 最先端の同期および非同期RLシステム上でのトレーニングスループットを最大2.06ドルまで改善する。
  論文  参考訳（メタデータ） (2026-10-15T10:21:41Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• R2L: Reliable Reinforcement Learning: Guaranteed Return & Reliable Policies in Reinforcement Learning [2.741266294612775]
  強化学習(RL)における信頼性の高い政策決定の問題に対処する。 本稿では,累積回帰が所定の閾値を超える確率を最大化する新しい定式化を提案する。 我々は、この信頼性の高いRL問題を、状態拡張された表現を通して、標準のRL問題に再構成できることを実証する。
  論文  参考訳（メタデータ） (2025-10-20T20:08:41Z)
• Dual RL: Unification and New Methods for Reinforcement and Imitation Learning [26.59374102005998]
  我々はまず,共有構造を持つ2つのRLアプローチのインスタンスとして,最先端のオフラインRLとオフライン模倣学習(IL)アルゴリズムをいくつか導入した。 本稿では、任意のオフポリシーデータから模倣を学習し、ほぼ専門的な性能を得る新しい差別化手法であるReCOILを提案する。 オフラインRLでは、最近のオフラインRLメソッドXQLをデュアルフレームワークにフレーム化し、Gumbel回帰損失に対して代替的な選択肢を提供する新しい方法f-DVLを提案する。
  論文  参考訳（メタデータ） (2023-02-16T20:10:06Z)
• Dual Generator Offline Reinforcement Learning [90.05278061564198]
  オフラインのRLでは、学習したポリシーをデータに近づき続けることが不可欠である。 実際には、GANベースのオフラインRL法は代替手法と同様に実行されていない。 2つのジェネレータを持つことにより、有効なGANベースのオフラインRL法が実現されるだけでなく、サポート制約を近似することも示している。
  論文  参考訳（メタデータ） (2022-11-02T20:25:18Z)
• Offline Reinforcement Learning: Fundamental Barriers for Value Function Approximation [74.3002974673248]
  本稿では,ログデータから意思決定方針を学習することを目的としたオフライン強化学習問題を考察する。 オンラインデータ収集は安全クリティカルなドメインに適しているため、オフラインのRLは現実的にますます重要になっている。 以上の結果から, サンプル効率の良いオフライン強化学習には, 制限的カバレッジ条件か, あるいは複雑性学習を超える表現条件が必要であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-21T23:22:37Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Hierarchical Reinforcement Learning for Relay Selection and Power Optimization in Two-Hop Cooperative Relay Network [7.5377621697101205]
  本研究では,2ホップ協調型中継ネットワークにおいて,送信電力の制約を考慮に入れた停止確率最小化問題について検討する。 我々は、リレー選択と配電のための戦略を学ぶために強化学習(RL)手法を用いる。 階層型強化学習(HRL)フレームワークとトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-10T04:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。