論文の概要: Online Estimation of Dynamic Origin-Destination Matrices Using Reinforcement Learning with Link-Flow Propagation Guidance

• arxiv url: http://arxiv.org/abs/2608.30317v1
• Date: Mon, 31 Aug 2026 06:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.257986
• Title: Online Estimation of Dynamic Origin-Destination Matrices Using Reinforcement Learning with Link-Flow Propagation Guidance
• Title（参考訳）: Link-Flow Propagation Guidanceを用いた強化学習による動的原位置行列のオンライン推定
• Abstract要約: オンライン動的原点決定(OD)行列推定(DODE)は、観測されたリンクフロー軌跡を再現するために時間依存のOD需要を校正する。 近年,強化学習(RL)が有望な代替手段として登場し,計算負荷の低減が図られている。 本研究では,リンクフロー伝搬誘導(LFPG)をポリシー最適化に統合したLFPG-RLを提案する。
• 参考スコア（独自算出の注目度）: 0.9023847175654603
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Online dynamic origin-destination (OD) matrix estimation (DODE) calibrates time-dependent OD demand to reproduce observed link-flow trajectories. In online, OD demand should be estimated from current observations and propagated network states while subsequent observations and stochastic dynamic network loading (DNL) outcomes remain uncertain. Recently, reinforcement learning (RL) has emerged as a promising alternative, reducing computational burden by replacing iterative algorithms while being applicable to stochastic environments. However, because the policy is trained offline and deployed online, it must handle varying target link-flow trajectories; since each target trajectory defines the link-flow error used in the reward, the same OD demand vector can require different adjustments, making conventional scalar feedback ambiguous. To address this gap, this study proposes LFPG-RL, which integrates link-flow propagation guidance (LFPG) into proximal policy optimization (PPO). LFPG combines link-flow error sensitivities with the contribution of each OD-time demand component to simulated link flows, transforming aggregate mismatch into OD-specific advantage shaping for PPO actor updates. At deployment, the policy requires only a single forward pass. LFPG-RL is developed and evaluated on 250 weekday trajectories of 15-min link-flow data from a Melbourne arterial network modeled by a link transmission model with stochastic route choice. On held-out trajectories, LFPG-RL achieved an RMSE of 4.69, MAPE of 20.15%, and Pearson correlation of 0.995. These results support the contention that our method is a more efficient and accurate online OD demand calibration method compared to existing ones.
• Abstract（参考訳）: オンライン動的原点決定(OD)行列推定(DODE)は、観測されたリンクフロー軌跡を再現するために時間依存のOD需要を校正する。 オンラインでは、OD需要は現在の観測と伝播ネットワーク状態から推定されるべきであるが、その後の観測と確率的動的ネットワークローディング(DNL)の結果は不確実である。 近年、強化学習(RL)が有望な代替手段として登場し、確率環境に適用可能な反復アルゴリズムを置き換えることで計算負荷を削減している。 しかし、ポリシーはオフラインでトレーニングされ、オンラインに展開されるため、様々なターゲットリンクフロートラジェクトリを処理しなければならない。 そこで本研究では,リンクフロー伝搬誘導(LFPG)をPPO(Phyximal Policy Optimization)に統合したLFPG-RLを提案する。 LFPGは、リンクフローエラー感性と、各OD時間要求コンポーネントのリンクフローのシミュレーションへの貢献を組み合わせることで、集約ミスマッチをPPOアクター更新のためのOD固有のアドバンテージシェイピングに変換する。 デプロイメントでは、ポリシーは1つのフォワードパスしか必要としない。 メルボルン動脈網からの15分間のリンクフローデータに対して,確率的経路選択を伴うリンク伝達モデルを用いて, LFPG-RLの開発と評価を行った。 ホールドアウト軌道では、LFPG-RLはRMSEが4.69、MAPEが20.15%、ピアソン相関が0.995であった。 これらの結果は,本手法が既存の方法よりも効率的かつ正確なオンラインOD需要校正法であることを示唆するものである。

関連論文リスト

• Reversal Q-Learning [57.43956630070019]
  逆Q-ラーニング(Reversal Q-learning)は、事前データに基づいてフローポリシーをトレーニングする、非政治的なRLアルゴリズムである。 RQLは、最先端のフローベースオフラインRLアルゴリズムと比較して、平均的なオフラインRLパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-06-16T05:56:10Z)
• Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
  比クリッピングは流れモデルに不適であると主張する。 本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。 実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
  論文  参考訳（メタデータ） (2026-06-09T15:59:57Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• Guided Streaming Stochastic Interpolant Policy [8.673777984856075]
  推論時指導は, 再現性のない動的目標に向けて, 生成ロボットのポリシーを操るのに不可欠である。 本研究では,動的非構造型補間器(SI)の最適ガイダンス項を導出する。 このフレームワークをストリーム補間ポリシー(SSIP)によるリアルタイム制御に適用する。
  論文  参考訳（メタデータ） (2026-05-11T06:24:21Z)
• Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers [12.948398661304184]
  Diffusion-APOは、ビデオ拡散モデルと人間の意図を一致させる軌跡認識アルゴリズムである。 オンラインランキング、半オンラインアンカー、オフラインリファインメント、蒸留対応ドリフト補正を統合した統一かつモジュール化されたRLHFフレームワークを導入する。 本研究では,Diffusion-APOが視覚的品質と指示の基準線を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-08T09:37:46Z)
• Flow Matching Policy with Entropy Regularization [16.47598359293598]
  Flow Matching Policy with Entropy Regularization (FMER)は、通常の微分方程式(ODE)ベースのオンラインRLフレームワークである。 FMERは、フローマッチングを通じてポリシーをパラメータ化し、最適な輸送によって動機付けられたストレートな確率経路に沿ってアクションをサンプリングする。 スパースマルチゴールのFrankaKitchenベンチマークの実験は、FMERが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-03-18T13:00:20Z)
• Real-Time Generative Policy via Langevin-Guided Flow Matching for Autonomous Driving [22.3805998088591]
  DACER-Fは、自律運転システムにおける生成ポリシーのフローマッチングアルゴリズムである。 ヒューマノイド・スタンド・タスクで775.8のスコアを獲得し、以前の手法を上回ります。
  論文  参考訳（メタデータ） (2026-03-03T05:35:53Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance [3.4354636842203026]
  正規化マルコフ決定過程(MDP)の解法としてPGDA-RLを提案する。 PGDA-RLは、経験的リプレイに基づく勾配推定と、基礎となるネスト最適化問題の2段階の分解を統合する。 PGDA-RL は正規化 MDP の最適値関数とポリシーにほぼ確実に収束することを示す。
  論文  参考訳（メタデータ） (2025-05-07T15:18:43Z)
• Millimeter Wave Communications with an Intelligent Reflector: Performance Optimization and Distributional Reinforcement Learning [119.97450366894718]
  ミリ波基地局のダウンリンクマルチユーザ通信を最適化するための新しいフレームワークを提案する。 チャネル状態情報(CSI)をリアルタイムで計測するために,チャネル推定手法を開発した。 最適赤外反射を学習し、ダウンリンク能力の期待を最大化するために、分布強化学習(DRL)手法を提案する。
  論文  参考訳（メタデータ） (2020-02-24T22:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。