論文の概要: TwinLoop: Simulation-in-the-Loop Digital Twins for Online Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.06610v1
• Date: Wed, 08 Apr 2026 02:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.307087
• Title: TwinLoop: Simulation-in-the-Loop Digital Twins for Online Multi-Agent Reinforcement Learning
• Title（参考訳）: TwinLoop: オンラインマルチエージェント強化学習のためのシミュレーション・イン・ザ・ループデジタルツイン
• Authors: Nan Zhang, Zishuo Wang, Shuyu Huang, Georgios Diamantopoulos, Nikos Tziritas, Panagiotis Oikonomou, Georgios Theodoropoulos,
• Abstract要約: 運用条件が変わると、学習されたポリシーは、パフォーマンスを回復する前に、実質的なトライアルとエラーのインタラクションを必要とすることが多い。 オンラインマルチエージェント強化学習のためのシミュレーション・イン・ザ・ループ型デジタルツインフレームワークであるTwinLoopを提案する。 その結果、デジタル双生児はポストシフト適応効率を改善し、コストのかかるオンライントライアル・アンド・エラーへの依存を減らすことが示唆された。
• 参考スコア（独自算出の注目度）: 4.505162130880789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralised online learning enables runtime adaptation in cyber-physical multi-agent systems, but when operating conditions change, learned policies often require substantial trial-and-error interaction before recovering performance. To address this, we propose TwinLoop, a simulation-in-the-loop digital twin framework for online multi-agent reinforcement learning. When a context shift occurs, the digital twin is triggered to reconstruct the current system state, initialise from the latest agent policies, and perform accelerated policy improvement with simulation what-if analysis before synchronising updated parameters back to the agents in the physical system. We evaluate TwinLoop in a vehicular edge computing task-offloading scenario with changing workload and infrastructure conditions. The results suggest that digital twins can improve post-shift adaptation efficiency and reduce reliance on costly online trial-and-error.
• Abstract（参考訳）: 分散オンライン学習は、サイバー物理マルチエージェントシステムにおける実行時適応を可能にするが、運用条件が変わると、学習ポリシーはパフォーマンスを回復する前にかなりの試行錯誤を必要とすることが多い。 これを解決するために、オンラインマルチエージェント強化学習のためのシミュレーション・イン・ループデジタルツインフレームワークであるTwinLoopを提案する。 コンテキストシフトが発生すると、デジタルツインがトリガされ、現在のシステム状態が再構築され、最新のエージェントポリシーから初期化され、物理システム内のエージェントに更新されたパラメータを同期する前に、いつ何の分析を行うかをシミュレーションして、迅速なポリシー改善が行われる。 我々はTwinLoopを、負荷やインフラ条件を変化させた車載エッジコンピューティングタスクオフロードシナリオで評価する。 その結果、デジタル双生児はポストシフト適応効率を改善し、コストのかかるオンライントライアル・アンド・エラーへの依存を減らすことが示唆された。

関連論文リスト

• TwinRL-VLA: Digital Twin-Driven Reinforcement Learning for Real-World Robotic Manipulation [65.45588646626426]
  本稿では,VLAモデルのスケールと探索のガイドを目的としたデジタルツインワールド協調RLフレームワークであるTwinRLを提案する。 まず、高忠実度デジタルツインをスマートフォンで捉えたシーンから効率的に再構成し、実環境とシミュレートされた環境間の現実的な双方向転送を可能にする。 我々の実験では、TwinRLは、実世界の実証と流通域の両方でカバーされた流通域において100%の成功に近づき、従来の実世界のRL法よりも少なくとも30%のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-02-09T18:59:52Z)
• Dyna-Mind: Learning to Simulate from Experience for Better AI Agents [62.21219817256246]
  私たちは、現在のAIエージェントは、行動する前に、別の未来を精神的にシミュレートする能力である「悪意ある試行錯誤」を必要としていると論じます。 我々は、(V)LMエージェントに対して、そのようなシミュレーションを推論に組み込むように明示的に教える2段階のトレーニングフレームワークであるDyna-Mindを紹介した。
  論文  参考訳（メタデータ） (2025-10-10T17:30:18Z)
• How to Bridge the Sim-to-Real Gap in Digital Twin-Aided Telecommunication Networks [30.858857240474077]
  通信のための効果的な人工知能モデルを訓練することは、デプロイメント固有のデータが不足しているために困難である。 実際のデータ収集は高価で、利用可能なデータセットは、ネットワーク環境のユニークな運用条件とコンテキスト変数をキャプチャできないことが多い。 デジタルツインニングは、現在のネットワーク展開に合わせてシミュレータがサイト固有のデータを生成して、利用可能なトレーニングデータセットを拡張することにより、この問題に対する潜在的な解決策を提供する。
  論文  参考訳（メタデータ） (2025-07-09T17:27:51Z)
• Continuously Updating Digital Twins using Large Language Models [49.7719149179179]
  デジタルツイン(Digital twins)は、現実のシステムのモデルであり、潜在的なアクションに応答してそれらのダイナミクスをシミュレートすることができる。 現在のアプローチは、固定された、明確に定義されたモデリング環境を必要とするため、この点で苦労しています。 我々は,状況適応型言語モデルに基づくDigital TwinであるCALM-DTを開発した。
  論文  参考訳（メタデータ） (2025-06-11T14:45:28Z)
• Mixed-Reality Digital Twins: Leveraging the Physical and Virtual Worlds for Hybrid Sim2Real Transition of Multi-Agent Reinforcement Learning Policies [0.0]
  本研究は、並列化シミュレーションワークロードをオンデマンドで選択的にスケーリングすることで、トレーニング速度を向上できる混合現実(MR)デジタルツイン(DT)フレームワークを提案する。 i) エージェントと環境並列化が訓練時間に及ぼす影響, (ii) ドメインランダム化がゼロショットsim2real転送に与える影響について検討した。 その結果、提案した並列化スキームとsim2realのギャップを2.9%に抑えることで、最大76.3%のトレーニング時間を短縮できることがわかった。
  論文  参考訳（メタデータ） (2024-03-16T18:47:04Z)
• Smoothed Online Learning for Prediction in Piecewise Affine Systems [43.64498536409903]
  本稿では,最近開発されたスムーズなオンライン学習フレームワークに基づく。 これは、断片的なアフィン系における予測とシミュレーションのための最初のアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-01-26T15:54:14Z)
• Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents [120.91291581594773]
  本稿では,予期せぬクラッシュを伴う協調型マルチエージェント強化学習システムの公式な定式化について述べる。 本稿では,教師支援型多エージェント強化学習フレームワークを提案する。 私たちの知る限りでは、この研究はマルチエージェントシステムにおける予期せぬクラッシュを初めて研究したものです。
  論文  参考訳（メタデータ） (2022-03-16T08:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。