論文の概要: Geometry of Drifting MDPs with Path-Integral Stability Certificates
- arxiv url: http://arxiv.org/abs/2601.21991v1
- Date: Thu, 29 Jan 2026 17:03:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:50.024609
- Title: Geometry of Drifting MDPs with Path-Integral Stability Certificates
- Title（参考訳）: 経路内安定証明書付きドリフトMDPの幾何学
- Abstract要約: 実世界の強化学習は、しばしば非定常的であり、報酬と力学は最適な行動において急激なスイッチを起動し、加速し、振動し、引き起こす。
環境を相異なるホモトピーパスとしてモデル化し、最適なベルマン固定点の誘導運動を追跡することにより、非定常割引マルコフ決定過程(MDPs)の幾何学的ビューを得る。
これは、累積ドリフト、加速度/振動、アクションギャップによって引き起こされる非滑らかさという、内在的な複雑さの、長さ-曲率-キンクのシグネチャをもたらす。
- 参考スコア（独自算出の注目度）: 14.721539799090904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world reinforcement learning is often \emph{nonstationary}: rewards and dynamics drift, accelerate, oscillate, and trigger abrupt switches in the optimal action. Existing theory often represents nonstationarity with coarse-scale models that measure \emph{how much} the environment changes, not \emph{how} it changes locally -- even though acceleration and near-ties drive tracking error and policy chattering. We take a geometric view of nonstationary discounted Markov Decision Processes (MDPs) by modeling the environment as a differentiable homotopy path and tracking the induced motion of the optimal Bellman fixed point. This yields a length--curvature--kink signature of intrinsic complexity: cumulative drift, acceleration/oscillation, and action-gap-induced nonsmoothness. We prove a solver-agnostic path-integral stability bound and derive gap-safe feasible regions that certify local stability away from switch regimes. Building on these results, we introduce \textit{Homotopy-Tracking RL (HT-RL)} and \textit{HT-MCTS}, lightweight wrappers that estimate replay-based proxies of length, curvature, and near-tie proximity online and adapt learning or planning intensity accordingly. Experiments show improved tracking and dynamic regret over matched static baselines, with the largest gains in oscillatory and switch-prone regimes.
- Abstract（参考訳）: 実世界の強化学習は、しばしば「emph{nonstationary}」と呼ばれる:報酬と力学は、最適な動作において急激なスイッチをドリフトし、加速し、振動し、引き起こす。
既存の理論は、環境の変化を測定する粗いスケールのモデルでしばしば非定常性を表す。
環境を相異なるホモトピーパスとしてモデル化し、最適なベルマン固定点の誘導運動を追跡することにより、非定常割引マルコフ決定過程(MDPs)の幾何学的ビューを得る。
これは、累積ドリフト、加速度/振動、アクションギャップによって引き起こされる非滑らかさという、内在的な複雑さの、長さ-曲率-キンクのシグネチャをもたらす。
スイッチ状態から局所的な安定性を証明できるギャップセーフの実現可能な領域を導出する。
これらの結果に基づいて, 長さ, 曲率, 近点近接のリプレイベースのプロキシを推定し, 学習や計画の強度に適応する軽量ラッパーである, HT-RL と HT-MCTS を導入する。
実験では、一致した静的ベースラインに対する追跡とダイナミックな後悔の改善が示され、発振とスイッチの急激なレシエーションの最大の増加が見られた。
関連論文リスト
- FlatManifold: Robust Continual Learning under Severe Label Noise and Domain Shifts via Intrinsic Manifold Flattening [0.7734726150561086]
非定常ストリーミング環境では、連続学習による複雑で非線形なドメインシフトに同時に適応することが基本的な数学的課題である。
フラットマンフォールド(FlatManifold)は,平坦空間の本質的な数学的ロバスト性を生かした,簡潔な連続学習フレームワークである。
40%の対称ラベルノイズを含む厳しい条件下であっても,FlatManifoldは劣化の緩和に成功している。
論文 参考訳（メタデータ） (2026-07-06T15:17:01Z) - Taming Curvature: Architecture Warm-Up for Stable Transformer Training [52.6838951211596]
本稿では,Hessian-vector製品を用いた暖かくスタートした変種に基づく最大(プレコンディション付き)Hessian固有値(曲率)の高速オンライン推定手法を提案する。
トレーニングの不安定性は、事前条件付き曲率の急激な上昇と一致し、曲率の深さが増加する。
大規模変圧器の実験により,本手法が効率的な曲率追跡を可能にし,不安定性を低減できることを確認した。
論文 参考訳（メタデータ） (2026-06-15T14:16:56Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - Adaptive Smooth Tchebycheff Attention for Multi-Objective Policy Optimization [55.338784037660474]
ドメインにおける多曲率強化学習は、矛盾する目的間の複雑な非脆弱な干渉トレードオフのバランスを必要とする。
本稿では,生態系をモニタリングするプロキシであるロボットビジュアルを用いた,新しいリアルタイムなリアルタイム最適化を提案する。
論文 参考訳（メタデータ） (2026-05-12T21:32:57Z) - When Sensors Fail: Temporal Sequence Models for Robust PPO under Sensor Drift [64.37959940809633]
時間的持続的なセンサ故障下でのPPOのロバスト性について検討する。
トランスフォーマーを用いたシーケンスポリシーは, センサ数が少ない場合でも高いリターンを保ちながら, 堅牢性, RNN, SSMよりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-03-04T22:21:54Z) - Spatially-Aware Adaptive Trajectory Optimization with Controller-Guided Feedback for Autonomous Racing [74.83272587893508]
本稿では,NURBSに基づく軌道表現,CMA-ESグローバル軌道最適化,コントローラ誘導空間フィードバックを組み合わせた自律レースライン最適化フレームワークを提案する。
シミュレーションでは,最大静的加速度をパラメータ化したコントローラと比較して17.38%のラップタイム短縮を実現している。
高摩擦から低摩擦まで様々なタイヤ化合物で試験された実ハードウェアでは、摩擦を明示的にパラメータ化することなく、7.60%のラップタイムの改善が得られる。
論文 参考訳（メタデータ） (2026-02-17T15:10:44Z) - ConsistentRFT: Reducing Visual Hallucinations in Flow-based Reinforcement Fine-Tuning [85.20505958752928]
フローベースモデル上での強化ファインチューニング(RFT)は、優先順位調整に不可欠である。
RFTは、過度に最適化された詳細や意味的なミスアライメントのような視覚幻覚をしばしば導入する。
この研究は、なぜ視覚幻覚が生じるのか、どのようにそれらを減らすのかを予備的に探求する。
論文 参考訳（メタデータ） (2026-02-03T11:49:46Z) - Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。
また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
論文 参考訳（メタデータ） (2026-02-02T21:33:03Z) - On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization [0.0]
各種段差系における均一な凸性および滑らか性の下でのグラディエントDescentの追跡性能を解析した。
本研究では,ドリフトによる追従誤差を大幅に増幅し,追従能力に明らかなペナルティを与えることを示す。
これらの結果は、動的環境における運動量の経験的不安定性に対する決定的な理論的根拠を与える。
論文 参考訳（メタデータ） (2026-01-18T03:27:21Z) - Guided Path Sampling: Steering Diffusion Models Back on Track with Principled Path Guidance [5.814544128372275]
本稿では,反復的改善のための新しいパラダイムとしてガイドパスサンプリング(GPS)を提案する。
GPSは不安定な外挿を、データ多様体上のサンプリングパスが残るように、原理化された、多様体に制約されたものに置き換える。
GPSは、知覚品質と複雑なプロンプト順守の両方において、既存の手法より優れています。
論文 参考訳（メタデータ） (2025-12-28T11:12:56Z) - Unifying Sign and Magnitude for Optimizing Deep Vision Networks via ThermoLion [0.0]
現在のパラダイムは、情報チャネルドリフトパラメータに静的な妥協を課している。
我々は「低次元」探索モデルと「低次元」動的アライメントフレームワークを導入する。
論文 参考訳（メタデータ） (2025-12-01T17:04:17Z) - Reasoning in Diffusion Large Language Models is Concentrated in Dynamic Confusion Zones [3.7312377768685714]
本稿では,RL の目標,報酬,計算予算を変更することなく,高平均ステップへの勾配更新を動的に再配置する軽量なステップ選択戦略である Adaptive Trajectory Policy Optimization (ATPO) を提案する。
ATPOは、dLLM RLを進める上で、軌道動力学の活用が鍵であることを示し、ベンチマーク全体にわたって精度とトレーニング安定性の推論においてかなりの向上をもたらす。
論文 参考訳（メタデータ） (2025-11-19T07:59:34Z) - Towards Stable and Structured Time Series Generation with Perturbation-Aware Flow Matching [16.17115009663765]
安定かつ構造的に一貫した時系列生成を保証するために、摂動軌道をモデル化するフレームワークである textbfPAFM を導入する。
このフレームワークは摂動誘導訓練を取り入れ、局所的な乱れをシミュレートし、二経路速度場を利用して摂動下での軌道偏差を捉える。
非条件および条件生成タスクの両方の実験において、PAFMは強いベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2025-11-18T13:30:56Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
ResADは正規化された残留軌道モデリングフレームワークである。
学習タスクを再編成し、慣性参照からの残留偏差を予測する。
NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
論文 参考訳（メタデータ） (2025-10-09T17:59:36Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - Forecasting Continuous Non-Conservative Dynamical Systems in SO(3) [51.510040541600176]
コンピュータビジョンにおける移動物体の回転をモデル化するための新しい手法を提案する。
我々のアプローチは、入力ノイズに対して頑健でありながら、エネルギーと運動量保存に非依存である。
トレーニング中の雑音状態から物体のダイナミクスを近似させることで、シミュレーションや様々な現実世界の設定において頑健な外挿能力が得られる。
論文 参考訳（メタデータ） (2025-08-11T09:03:10Z) - MATE: Motion-Augmented Temporal Consistency for Event-based Point Tracking [58.719310295870024]
本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。
事象の間隔に起因する曖昧さを解決するため、運動誘導モジュールは運動ベクトルを局所的なマッチングプロセスに組み込む。
このメソッドは、任意のポイントベースラインのイベントのみのトラッキングに対して、$Survival_50$メトリックを17.9%改善する。
論文 参考訳（メタデータ） (2024-12-02T09:13:29Z) - Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
視覚SLAMシステムのための新しい最適化バックボーンを提案する。
従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。
我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
論文 参考訳（メタデータ） (2020-11-02T18:02:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。