論文の概要: Online Change-point Detection for Cooperative Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.05298v1
- Date: Fri, 04 Sep 2026 15:49:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.108865
- Title: Online Change-point Detection for Cooperative Multi-Agent Reinforcement Learning
- Title（参考訳）: 協調型マルチエージェント強化学習のためのオンライン変化点検出
- Abstract要約: 本稿では,報奨信号を用いた協調型MARLのオンライン変更点検出について検討する。
エージェントの戻りストリームをスムースにし、最近の変化を強調し、統計的ドリフト検出器を用いて重要なシフトを通知する軽量なアルゴリズムに依存しない検出器を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cooperative multi-agent reinforcement learning (MARL) systems rely on past experience for learning coordinated behaviour, but this experience may become unreliable if the environment or task objective changes during training. In such cases, agents first need a way to recognize that the situation has changed before deciding how to adapt. This paper studies online change-point detection for cooperative MARL using reward-derived signals. We propose \emph{Patterns of Past Rewards} (PPR), a lightweight algorithm-agnostic detector that smooths agents' return streams, highlights recent changes, and applies a statistical drift detector to flag significant shifts. We evaluate PPR in a custom Speaker-Listener environment based on the Multi-Agent Particle Environment under two controlled non-stationarity scenarios. Our results show a trade-off between detection speed and alarm stability. A smoothed-return baseline detects earlier but produces many repeated alarms. In contrast, applying the detector directly to raw returns often misses the shift. PPR offers a more balanced approach by limiting redundant detections while still identifying the controlled shifts. These findings highlight PPR as a lightweight, reward-based monitoring tool that enables cooperative MARL systems to reliably identify major changes during training.
- Abstract（参考訳）: 協調型マルチエージェント強化学習(MARL)システムは、協調行動の学習に過去の経験を頼っているが、訓練中に環境やタスクの目的が変化すると、この経験は信頼できなくなる。
このような場合、エージェントはまず、適応方法を決定する前に状況が変わったことを認識する方法が必要です。
本稿では,報奨信号を用いた協調型MARLのオンライン変更点検出について検討する。
我々は,エージェントの戻りストリームをスムーズにし,最近の変化を強調し,統計的ドリフト検出器を用いて重要なシフトを通知する,軽量なアルゴリズム非依存検出器である \emph{Patterns of Past Rewards} (PPR) を提案する。
我々は,2つの制御された非定常シナリオの下で,マルチエージェント粒子環境に基づく話者リスナー環境におけるPPRの評価を行った。
その結果,検出速度とアラーム安定性のトレードオフが示された。
スムーズなリターンベースラインが早期に検出されるが、何度もアラームを発生させる。
対照的に、検出器を直接生のリターンに適用することは、しばしばシフトを逃す。
PPRは、制御されたシフトを特定しながら冗長な検出を制限することで、よりバランスのとれたアプローチを提供する。
これらの知見は、PPRが軽量で報酬に基づくモニタリングツールであり、協調的なMARLシステムがトレーニング中に大きな変化を確実に識別できることを示している。
関連論文リスト
- MuST-VAD: Mutual Structured Learning for Video Anomaly Detection [0.7828778569622203]
弱教師付きビデオ異常検出のための相互構造化学習フレームワークを提案する。
弱い教師付きVADの検出器は、固定されたタスクに依存しないバックボーンによって抽出された特徴から異常スコアを学習する。
MuST-VADは双方向の学習ループに片方向の転送を拡張する。
論文 参考訳（メタデータ） (2026-08-07T07:47:19Z) - Enhancing the MADDPG Algorithm for Multi-Agent Learning via Action Inference and Importance Sampling [3.0203351658673387]
本稿では,各エージェントが他のエージェントの意図した行動を予測できる新しいアクション推論機構を提案する。
第2に、リプレイバッファに幾何分布を用いた重要サンプリング戦略を適用し、より最新の情報的体験を優先する。
その結果,行動推論は学習安定性の向上とエージェント間協調に有効であることが示唆された。
論文 参考訳（メタデータ） (2026-06-03T15:44:56Z) - RemoteVAR: Autoregressive Visual Modeling for Remote Sensing Change Detection [52.32112533846212]
リモートセンシングによる変化検出は、環境モニタリングや災害評価といった応用の中心である。
視覚的自己回帰モデルは最近、印象的な画像生成能力を示しているが、画素レベルの識別タスクへの採用は、制御性の弱さ、最適下層予測性能、露出バイアスによって制限されている。
本稿では,これらの制約に対処する新しいVARベースの変化検出フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-17T03:50:00Z) - MutDet: Mutually Optimizing Pre-training for Remote Sensing Object Detection [36.478530086163744]
本研究では,MutDetと呼ばれるリモートセンシングオブジェクト検出のための,Mutally最適化事前学習フレームワークを提案する。
MutDetはオブジェクトの埋め込みを融合し、検出器は最後のエンコーダ層に双方向に機能し、情報インタラクションを強化する。
様々な環境での実験は、新しい最先端の転送性能を示している。
論文 参考訳（メタデータ） (2024-07-13T15:28:15Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳（メタデータ） (2023-09-21T15:00:31Z) - Integral Migrating Pre-trained Transformer Encoder-decoders for Visual
Object Detection [78.2325219839805]
imTEDは、数発のオブジェクト検出の最先端を最大7.6%改善する。
MS COCOデータセットの実験は、imTEDが一貫してそのデータセットを2.8%上回っていることを示している。
論文 参考訳（メタデータ） (2022-05-19T15:11:20Z) - E-detectors: a nonparametric framework for sequential change detection [86.15115654324488]
逐次的変化検出のための基本的かつ汎用的なフレームワークを開発する。
私たちの手順は、平均走行距離のクリーンで無症状な境界が伴います。
統計的および計算効率の両方を達成するために,これらの混合物を設計する方法を示す。
論文 参考訳（メタデータ） (2022-03-07T17:25:02Z) - Mitigating the Mutual Error Amplification for Semi-Supervised Object
Detection [92.52505195585925]
擬似ラベルの修正機構を導入し,相互誤りの増幅を緩和するクロス・インストラクション(CT)手法を提案する。
他の検出器からの予測を直接擬似ラベルとして扱う既存の相互指導法とは対照的に,我々はラベル修正モジュール(LRM)を提案する。
論文 参考訳（メタデータ） (2022-01-26T03:34:57Z) - Bandit Quickest Changepoint Detection [55.855465482260165]
すべてのセンサの継続的な監視は、リソースの制約のためにコストがかかる可能性がある。
有限パラメータ化確率分布の一般クラスに対する検出遅延に基づく情報理論の下界を導出する。
本稿では,異なる検知オプションの探索と質問行動の活用をシームレスに両立させる,計算効率のよいオンラインセンシング手法を提案する。
論文 参考訳（メタデータ） (2021-07-22T07:25:35Z) - Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。
我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。
平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
論文 参考訳（メタデータ） (2020-10-22T12:45:55Z) - Correcting Experience Replay for Multi-Agent Communication [18.12281605882891]
マルチエージェント強化学習(MARL)を用いたコミュニケーション学習の課題について考察する。
一般的なアプローチは、リプレイバッファからサンプリングされたデータを使って、政治外を学ぶことである。
MARLにより誘導される観測通信の非定常性を考慮した「通信補正」を導入する。
論文 参考訳（メタデータ） (2020-10-02T20:49:24Z) - Change Point Detection in Time Series Data using Autoencoders with a
Time-Invariant Representation [69.34035527763916]
変化点検出(CPD)は、時系列データにおける急激な特性変化を見つけることを目的としている。
近年のCDD法は、深層学習技術を用いる可能性を示したが、信号の自己相関統計学におけるより微妙な変化を識別する能力に欠けることが多い。
我々は、新しい損失関数を持つオートエンコーダに基づく手法を用い、使用済みオートエンコーダは、CDDに適した部分的な時間不変表現を学習する。
論文 参考訳（メタデータ） (2020-08-21T15:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。