論文の概要: Deep Reinforcement Learning for Day-to-day Dynamic Tolling in Tradable Credit Schemes

• arxiv url: http://arxiv.org/abs/2504.08074v1
• Date: Thu, 10 Apr 2025 19:04:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:17:32.160579
• Title: Deep Reinforcement Learning for Day-to-day Dynamic Tolling in Tradable Credit Schemes
• Title（参考訳）: トレーダブル・クレジット・スキームにおける日々のダイナミック・トーリングのための深層強化学習
• Authors: Xiaoyi Wu, Ravi Seshadri, Filipe Rodrigues, Carlos Lima Azevedo,
• Abstract要約: トレーダブル・クレジット・スキーム(TCS)は、混雑価格の代替としてますます研究されている。 将来の設計と実装を支援するためのTCSのモデリングは、ユーザと市場の振る舞い、需要供給ダイナミクス、制御メカニズムに関わる課題と関連している。
• 参考スコア（独自算出の注目度）: 4.844463457863053
• License:
• Abstract: Tradable credit schemes (TCS) are an increasingly studied alternative to congestion pricing, given their revenue neutrality and ability to address issues of equity through the initial credit allocation. Modeling TCS to aid future design and implementation is associated with challenges involving user and market behaviors, demand-supply dynamics, and control mechanisms. In this paper, we focus on the latter and address the day-to-day dynamic tolling problem under TCS, which is formulated as a discrete-time Markov Decision Process and solved using reinforcement learning (RL) algorithms. Our results indicate that RL algorithms achieve travel times and social welfare comparable to the Bayesian optimization benchmark, with generalization across varying capacities and demand levels. We further assess the robustness of RL under different hyperparameters and apply regularization techniques to mitigate action oscillation, which generates practical tolling strategies that are transferable under day-to-day demand and supply variability. Finally, we discuss potential challenges such as scaling to large networks, and show how transfer learning can be leveraged to improve computational efficiency and facilitate the practical deployment of RL-based TCS solutions.
• Abstract（参考訳）: トレーダブル・クレジット・スキーム(TCS)は、収益中立性と初期クレジット・アロケーションを通じて株式の問題に対処する能力を考えると、混雑価格に代わる研究が増えている。 将来の設計と実装を支援するためのTCSのモデリングは、ユーザと市場の振る舞い、需要供給ダイナミクス、制御メカニズムに関わる課題と関連している。 本稿では、後者に着目し、離散時間マルコフ決定プロセスとして定式化され、強化学習(RL)アルゴリズムを用いて解決されるTCSの下での日々の動的トーリング問題に対処する。 以上の結果から,RLアルゴリズムはベイジアン最適化ベンチマークに匹敵する旅行時間と社会福祉を達成でき,様々な能力と需要レベルにまたがる一般化が期待できる。 さらに、異なる過パラメータ下でのRLのロバスト性を評価し、動作振動を軽減するために正規化技術を適用し、日々の需要と供給変動で伝達可能な実用的なトーリング戦略を生成する。 最後に、大規模ネットワークへのスケーリングなどの潜在的な課題について論じ、転送学習をどのように活用して計算効率を向上し、RLベースのTCSソリューションの実践的展開を促進するかを示す。

関連論文リスト

• Learning for Cross-Layer Resource Allocation in MEC-Aided Cell-Free Networks [71.30914500714262]
  移動エッジコンピューティング(MEC)を援用したセルフリーネットワーク上でのクロスレイヤリソース割り当ては、データレートを促進するために、送信およびコンピューティングリソースを十分に活用することができる。 深層学習の観点からMEC支援セルフリーネットワークのサブキャリア配置とビームフォーミング最適化について検討した。
  論文  参考訳（メタデータ） (2024-12-21T10:18:55Z)
• Optimizing Load Scheduling in Power Grids Using Reinforcement Learning and Markov Decision Processes [0.0]
  本稿では,動的負荷スケジューリングの課題に対処する強化学習(RL)手法を提案する。 提案手法は実時間負荷スケジューリングのためのロバストでスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-10-23T09:16:22Z)
• Offline reinforcement learning for job-shop scheduling problems [1.3927943269211593]
  本稿では,複雑な制約を伴う最適化問題に対して,新しいオフラインRL法を提案する。 我々のアプローチは、エッジ属性のアクションを符号化し、専門家ソリューションの模倣と期待される報酬のバランスをとる。 本手法がジョブショップスケジューリングおよびフレキシブルジョブショップスケジューリングベンチマークに与える影響を実証する。
  論文  参考訳（メタデータ） (2024-10-21T07:33:42Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Closed-form congestion control via deep symbolic regression [1.5961908901525192]
  強化学習(RL)アルゴリズムは、超低レイテンシおよび高スループットシナリオにおける課題を処理することができる。 実際のデプロイメントにおけるニューラルネットワークモデルの採用は、リアルタイムの推論と解釈可能性に関して、依然としていくつかの課題を提起している。 本稿では,性能と一般化能力を維持しつつ,このような課題に対処する方法論を提案する。
  論文  参考訳（メタデータ） (2024-03-28T14:31:37Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。