論文の概要: Hybrid Offline-Online Multi-Agent Decision Transformers for Wireless Resource Management

• arxiv url: http://arxiv.org/abs/2608.28878v1
• Date: Fri, 28 Aug 2026 21:31:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.775003
• Title: Hybrid Offline-Online Multi-Agent Decision Transformers for Wireless Resource Management
• Title（参考訳）: 無線リソース管理のためのハイブリッドオフラインマルチエージェント決定変換器
• Abstract要約: 本稿では,意思決定変換器に基づくオフライン・オフラインマルチエージェント強化学習フレームワークを開発する。 その後、批判を誘導した勾配を組み込んだハイブリッドな目標を使用して、オンラインで微調整され、オフラインポリシを越えたパフォーマンス改善が実現される。
• 参考スコア（独自算出の注目度）: 17.359693659942153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper develops a hybrid offline-online multi-agent reinforcement learning framework based on decision transformers. The policy is first pretrained offline via supervised sequence modeling of trajectories generated by existing policies, providing a safe and sample-efficient initialization. It is then fine-tuned online using a hybrid objective that incorporates critic-guided gradients, enabling performance improvements beyond the offline policy. To facilitate stable offline-to-online transfer and effective multi-agent coordination, the framework incorporates return-weighted sampling, a critic conditioned on neighbors' actions, and neighborhood-correlated exploration. The approach is fully distributed: both training and execution rely only on local observations and limited information exchange among neighboring agents. Evaluations with dynamic traffic arrivals in two settings: (i) joint scheduling and power allocation and (ii) coordinated beamforming, show that the proposed method achieves quality-of-service (QoS) performance comparable to centralized methods. Moreover, when pretrained on lower-quality datasets, online fine-tuning is also observed to surpass the initial offline policy. These results demonstrate a promising learning-based alternative for wireless resource management.
• Abstract（参考訳）: 本稿では,意思決定変換器に基づくオフライン・オフラインマルチエージェント強化学習フレームワークを開発する。 このポリシーは、既存のポリシーによって生成されたトラジェクトリの教師付きシーケンスモデリングを通じて、まずオフラインで事前訓練され、安全でサンプル効率の良い初期化を提供する。 その後、批判を誘導した勾配を組み込んだハイブリッドな目標を使用して、オンラインで微調整され、オフラインポリシを越えたパフォーマンス改善が実現される。 オフライン-オンライン間の安定した移動と効果的なマルチエージェント調整を容易にするため、このフレームワークはリターン重み付けサンプリング、近隣住民の行動に条件付けされた批判、および近隣関連探索を取り入れている。 トレーニングと実行はどちらも、ローカルな観察と、近隣のエージェント間の限られた情報交換にのみ依存する。 動的交通到着による2つの設定による評価 一 共同計画及び配電及び配電 (II)座標ビームフォーミングは,本手法が集中型手法に匹敵する品質・オブ・サービス(QoS)性能を実現することを示す。 さらに、低品質データセットで事前トレーニングされた場合、オンラインの微調整は、初期オフラインポリシーを超えることが観察される。 これらの結果から,無線リソース管理に代わる有望な学習手法が示された。

関連論文リスト

• ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization [19.46945184186446]
  適応データ混合(ROAD)を最適化した強化学習を提案する。 ROADはデータ再生プロセスを自動化する動的プラグイン・アンド・プレイフレームワークである。 我々の経験的結果は、このアプローチが様々なデータセットで既存のデータ再生方法より一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-05-14T07:35:58Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning [13.655904209137006]
  オフラインプランニングをデータ生成,教師付きトレーニング,オンライン推論にシームレスに組み込む新しいフレームワークである textbfImaginary Planning Distillation (IPD) を提案する。 まず,オフラインデータから不確実性対策と準最適値関数を備えた世界モデルを学習する。 従来の手動で調整した戻り値関数を準最適値関数に置き換えることで、IDDは推論時の意思決定安定性と性能を改善する。
  論文  参考訳（メタデータ） (2026-03-04T17:05:39Z)
• Diffusing to Coordinate: Efficient Online Multi-Agent Diffusion Policies [51.24079409973799]
  拡散に基づく生成モデルは、オンラインマルチエージェント強化学習(MARL)のニーズを満たすために適切に配置されている 我々は、アンダーライン拡散ポリシーを用いて、最初のアンダーラインオフラインアンダーラインMARLフレームワークを提案する。 私たちのキーとなるイノベーションは、拡張された関節のエントロピーを最大化する、緩和された政策目標です。
  論文  参考訳（メタデータ） (2026-02-20T15:38:02Z)
• Action-Free Offline-to-Online RL via Discretised State Policies [8.696862667760778]
  エージェントは$(s,r,s'$s)$sのみからなるデータセットから学ぶ必要がある。 我々は,行動よりも望ましい次の状態遷移を推奨する学習国家政策を提案する。
  論文  参考訳（メタデータ） (2026-01-31T09:53:04Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL [3.2883573376133555]
  本稿では,オフラインからオンラインRLへのスムーズな移行を可能にするフレームワークである行動適応型Q-Learning(BAQ)を紹介する。 BAQは、(i)不確実性が高い場合のオフライン行動に対してオンラインポリシーを整列させ、(ii)より確実なオンライン体験が蓄積されるにつれて、この制約を徐々に緩和する二重目的損失を包含する。 標準ベンチマーク全体を通じて、BAQは、オフラインからオフラインまでのRLアプローチを一貫して上回り、より高速なリカバリ、堅牢性の向上、全体的なパフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2025-11-05T18:20:23Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
  オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。 この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-09T11:42:31Z)
• Offline Multi-Agent Reinforcement Learning via In-Sample Sequential Policy Optimization [8.877649895977479]
  オフラインマルチエージェント強化学習(英語: offline Multi-Agent Reinforcement Learning, MARL)は、事前コンパイルされたデータセットから最適なマルチエージェントポリシーを学ぶことを目的とした新興分野である。 本研究では、既存のオフラインMARLメソッドを再検討し、特定のシナリオにおいて問題となる可能性があることを示す。 In-Sample Sequential Policy Optimization (InSPO) と呼ばれる新しいオフラインMARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-10T16:19:08Z)
• Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning [80.25648265273155]
  オフライン強化学習は、固定データセットから学習することで、環境と対話することなくエージェントの動作を学ぶことができる。 オンラインの微調整中、オフラインからオンラインデータへの突然の分散シフトにより、事前訓練されたエージェントのパフォーマンスが急速に低下する可能性がある。 エージェントの性能と訓練安定性に基づいて,オンラインファインチューニングにおける行動クローンの損失を適応的に評価することを提案する。 実験の結果,提案手法はD4RLベンチマークにおいて,最先端のオフライン-オンライン強化学習性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-10-25T09:08:26Z)
• Non-Stationary Off-Policy Optimization [50.41335279896062]
  本研究では,時間的空間的帯域幅の非政治最適化の新たな課題について検討する。 オフライン学習フェーズでは、ログ化されたデータをカテゴリの潜在状態に分割し、各状態に対してほぼ最適のサブポリシーを学ぶ。 オンラインデプロイメントの段階では、学習したサブ政治をそのパフォーマンスに基づいて順応的に切り替える。
  論文  参考訳（メタデータ） (2020-06-15T09:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。