論文の概要: Self-Repairing Recurrent Ensembles for Real-Time Recovery from Distribution Shift
- arxiv url: http://arxiv.org/abs/2610.03249v1
- Date: Fri, 02 Oct 2026 12:58:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.376075
- Title: Self-Repairing Recurrent Ensembles for Real-Time Recovery from Distribution Shift
- Title（参考訳）: 配電シフトからのリアルタイム回復のための自己修復繰り返しアンサンブル
- Abstract要約: 専門家が修正ラベルを供給できない場合、政策は崩壊する可能性がある。
本稿では,このような変化から政策を回復させる手法を提案する。
- 参考スコア（独自算出の注目度）: 11.755981321328475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying a pretrained controller exposes it to conditions that are absent from its training data. Sensor drift, outright sensor failure and accumulating measurement noise all induce a distribution shift that can collapse an otherwise competent policy; typically at a point in time where no expert is available to supply corrective labels. We present a method that lets a policy recover from such shifts online and without supervision. Our controller is an ensemble of recurrent networks, each of which observes a randomly masked subset of the observation vector, and whose Gaussian outputs are combined through sequential Kalman fusion so that confident members dominate the consensus action. At deployment, we treat this consensus as a self-supervised label and fine-tune each member towards it, scaling each member's contribution proportional to the complement of its squared Kalman gain. Gradients are computed using RFLO, an efficient and biologically plausible approximation of Real-Time Recurrent Learning, so that a parameter update follows every environment step and the policy reacts to a shift as it unfolds. On a range of simulated continuous control tasks, our approach recovers close to the original performance after a sensor shift, while ensembles that see the full observation are unable to recover. The same framework subsumes fully online interactive imitation learning: when an expert is present, the consensus label is replaced by the expert action and the identical update rule refines the policy during teleoperation.
- Abstract（参考訳）: 事前トレーニングされたコントローラのデプロイは、トレーニングデータにない条件に公開する。
センサドリフト、アウトライトセンサーの故障、測定ノイズの蓄積はいずれも、他の競合するポリシーを崩壊させる可能性のある分散シフトを誘導する。
本稿では,このような変化から政策を回復させる手法を提案する。
我々のコントローラは繰り返しネットワークのアンサンブルであり、それぞれがランダムにマスクされた観測ベクトルのサブセットを観察し、ガウス出力はカルマン融合によって結合され、自信あるメンバーがコンセンサス行動を支配する。
デプロイでは、このコンセンサスを自己監督ラベルとして扱い、各メンバをそれに向けて微調整し、各メンバのコントリビューションを、その正方形のカルマンゲインの補完に比例してスケールアップする。
パラメータ更新はすべての環境ステップに従っており、パラメータが展開するにつれてポリシーが変化に反応する。
シミュレーションされた連続制御タスクにおいて,本手法はセンサシフト後の元の動作に近づき,全観測を見ることができるアンサンブルは回復できない。
専門家が存在する場合、コンセンサスラベルは専門家のアクションに置き換えられ、同じ更新ルールが遠隔操作時のポリシーを洗練させる。
関連論文リスト
- Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
MeshHealは、完全に分散化された自己修復フレームワークである。
能力にマッチしたピアレビューを2つのタイムスケールに分けている。
1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
論文 参考訳（メタデータ） (2026-09-24T04:29:37Z) - ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。
Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。
ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
論文 参考訳（メタデータ） (2026-09-01T10:54:13Z) - Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
ブートストラップは オフライン強化学習における 推定誤差を増幅する
本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。
Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
論文 参考訳（メタデータ） (2026-08-04T04:30:02Z) - TwistedMerge: Certified Higher-Order Diagnostics and Abstention for Model Merging [0.48086260459837454]
我々は、チェックポイントが局所対象、アライメントマップが遷移、サイクル積が残留する有限降下問題としてマージを定式化する。
提案手法は, 定数エッジのNo-go結果, フリーズ・コンプレックスの3方向およびプレファミリーの誤差制御定理, 比較・複雑感度の精査試験である。
訓練された低ランク適応型監査では, 平均化係数は選択したGLr代表に依存するが, 大域的因子同期と高密度デルタSVDは安定である。
論文 参考訳（メタデータ） (2026-07-23T03:24:50Z) - Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。
本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。
我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
論文 参考訳（メタデータ） (2026-06-05T15:09:52Z) - Decoupled Delay Compensation: Enhancing Pre-trained MARL Policies via Learned Dynamics Filtering [2.0223202343873226]
実世界のマルチエージェント強化学習(MARL)システムは、しばしば古い観測、通信遅延、断続パケット損失の下で運用されなければならない。
本稿では,遅延通信観測を現在の信念状態推定に置き換えるモジュール型実行ステージ状態推定層を提案する。
論文 参考訳（メタデータ） (2026-05-25T19:19:46Z) - The Reciprocity Gradient [52.35929743862925]
コミュニケーションは、戦略的相互作用における相互性と協力を維持するための基本である。
学習エージェントに特有の集中的最適化の難しさとして,影響帰属問題を同定し,定式化する。
これを解決するために、公衆の観察から訓練された相手の政策の個人推定器を通して、報酬勾配を明示的に逆伝搬する相互性勾配を導入する。
論文 参考訳（メタデータ） (2026-05-08T16:29:52Z) - Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting [36.23660195981511]
PTR(Posterior-Transition Reweighting)は、報酬のない、保守的なポストトレーニング手法である。
各トレーニングサンプルが管理された更新にどの程度影響するかを決定する。
PTRは、各サンプルの反応後の結果が現在の表現の下にあるかに応じてクレジットを再配置する。
論文 参考訳（メタデータ） (2026-03-17T14:05:35Z) - Collaborative Temporal Feature Generation via Critic-Free Reinforcement Learning for Cross-User Sensor-Based Activity Recognition [16.776182784171713]
ウェアラブル慣性センサーを用いたヒューマンアクティビティ認識は、医療モニタリング、フィットネス分析、コンテキスト認識コンピューティングの基礎となる。
既存のドメインの一般化アプローチは、センサーストリームの時間的依存関係を無視したり、非現実的なターゲットドメインアノテーションに依存したりする。
我々は、強化学習によって制御される協調的な逐次生成プロセスとして、一般化可能な特徴抽出をモデル化する新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2026-03-17T01:03:21Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。