論文の概要: Structuring Value Representations via Geometric Coherence in Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2602.02978v1
• Date: Tue, 03 Feb 2026 01:35:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.177034
• Title: Structuring Value Representations via Geometric Coherence in Markov Decision Processes
• Title（参考訳）: マルコフ決定過程における幾何コヒーレンスによる値表現の構造化
• Abstract要約: 提案するemphGCR-RL(Geometric Coherence Regularized Reinforcement Learning,Geometric Coherence Regularized Reinforcement Learning,Geometric Coherence Regularized Reinforcement Learning,Geometric Coherence Regularized Reinforcement Learning, 幾何コヒーレンス正規化強化学習)は,超精密化のシーケンスを演算する。 Q-learningとアクター-criticの2つの新しいアルゴリズムを開発し、これらの超精密化を効果的に実現した。 我々は, GCR-RLを様々なタスクで実証的に評価し, 高いベースライン上での試料効率と安定性能の大幅な向上を実証した。
• 参考スコア（独自算出の注目度）: 9.312400001335659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Geometric properties can be leveraged to stabilize and speed reinforcement learning. Existing examples include encoding symmetry structure, geometry-aware data augmentation, and enforcing structural restrictions. In this paper, we take a novel view of RL through the lens of order theory and recast value function estimates into learning a desired poset (partially ordered set). We propose \emph{GCR-RL} (Geometric Coherence Regularized Reinforcement Learning) that computes a sequence of super-poset refinements -- by refining posets in previous steps and learning additional order relationships from temporal difference signals -- thus ensuring geometric coherence across the sequence of posets underpinning the learned value functions. Two novel algorithms by Q-learning and by actor--critic are developed to efficiently realize these super-poset refinements. Their theoretical properties and convergence rates are analyzed. We empirically evaluate GCR-RL in a range of tasks and demonstrate significant improvements in sample efficiency and stable performance over strong baselines.
• Abstract（参考訳）: 幾何特性は安定化と高速化学習に利用することができる。 既存の例としては、符号化対称性構造、幾何認識データ拡張、構造制限の実施などがある。 本稿では、順序理論のレンズを通してRLの新たなビューと、所望のポーズ(部分順序集合)を学習する再キャスト値関数を推定する。 従来のステップでポーズを精製し、時間差信号から追加の順序関係を学習することにより、学習された値関数を支えるポーズの列間の幾何的コヒーレンスを確保することで、一連のスーパーポジションの洗練を計算できる「emph{GCR-RL}」(幾何コヒーレンス正規化強化学習)を提案する。 Q-learningとアクター-criticの2つの新しいアルゴリズムを開発し、これらの超精密化を効果的に実現した。 それらの理論的性質と収束速度を解析する。 我々は, GCR-RLを様々なタスクで実証的に評価し, 高いベースライン上での試料効率と安定性能の大幅な向上を実証した。

関連論文リスト

• Geometry-Aware R-Structured Kolmogorov-Arnold Networks [0.0]
  本稿では,V.L.RvachevのR-関数をKAN(Kolmogorov-Arnold Network)フレームワークに統合した新しいハイブリッドニューラルネットワークを提案する。 提案手法は2つの相補的モデリング機構を組み合わせる: 滑らかな非線形構造はカン分岐によって学習され、既知の幾何学的制約や論理的制約は微分可能なR-関数を用いて解析的に符号化される。 これにより、トレーニング可能なニューラルネットワークアーキテクチャ内の不連続性、実現可能な領域、および暗黙の幾何学的境界の明示的な表現が可能になる。
  論文  参考訳（メタデータ） (2026-07-01T20:14:24Z)
• Convolutional Symmetric AutoEncoders: enhancing latent stability via differential geometry [0.0]
  この研究は、畳み込み層の表現整合性を拡張することにより、arXiv:2307.15288v2とarXiv:2506.11641v1による研究に基づいている。 本稿では, 対称畳み込み自己エンコーダ (CAE) の新たなクラスを導入し, 多様体パラメトリゼーション写像の一次特性を具現化する。
  論文  参考訳（メタデータ） (2026-07-01T09:16:37Z)
• Decoupling Numerical and Structural Parameters: An Empirical Study on Adaptive Genetic Algorithms via Deep Reinforcement Learning for the Large-Scale TSP [13.08340371229562]
  本稿では,この2つの次元が旅行セールスマン問題(TSP)に与える影響を分離・解析するために,二重レベル深層強化学習(DRL)フレームワークを用いた実証的研究を提案する。 本研究では、これらのパラメータを動的に制御するために、リカレントPPOエージェントを使用し、DRLモデルをプローブとして扱い、進化力学を明らかにする。 数値的チューニングは局所的な洗練を提供するが、構造的可塑性は停滞を防ぎ、局所的な最適化から逃れる上で決定的な要因である。
  論文  参考訳（メタデータ） (2026-03-21T07:56:39Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• FISMO: Fisher-Structured Momentum-Orthogonalized Optimizer [30.184978506988767]
  我々は、フィッシャー情報幾何を通して異方性ニューロトロピックな幾何情報を含むFISMOを紹介する。 FISMOは、確立されたベースラインよりも優れた効率と最終性能を達成する。
  論文  参考訳（メタデータ） (2026-01-29T14:05:04Z)
• Continuous-time reinforcement learning for optimal switching over multiple regimes [5.045537244224327]
  本稿では,複数局にわたる最適切換問題に対する連続時間強化学習(RL)について検討する。 ハミルトン・ヤコビ・ベルマン方程式の関連する系を適切に設定し、最適政策の特徴づけを与える。 マルティンゲールの特徴に基づく政策評価を呼び起こして、強化学習アルゴリズムを考案し、実装する。
  論文  参考訳（メタデータ） (2025-12-04T11:48:07Z)
• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• Reinforcement Learning Using known Invariances [54.91261509214309]
  本稿では、既知のグループ対称性をカーネルベースの強化学習に組み込むための理論的枠組みを開発する。 対称性を意識したRLは、標準のカーネルよりも大幅に性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-11-05T13:56:14Z)
• Random Sparse Lifts: Construction, Analysis and Convergence of finite sparse networks [17.487761710665968]
  本稿では,パラメータの数が増えると,勾配流による学習が任意に低損失に達するような,ニューラルネットワークの大規模クラスを定義する枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-10T12:52:00Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Optimal Goal-Reaching Reinforcement Learning via Quasimetric Learning [73.80728148866906]
  準メトリック強化学習(QRL)は、準メトリックモデルを用いて最適な値関数を学習する新しいRL法である。 オフラインおよびオンラインの目標達成ベンチマークでは、QRLはサンプル効率とパフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2023-04-03T17:59:58Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Group Equivariant Deep Reinforcement Learning [4.997686360064921]
  我々は、RLエージェントの訓練に同変CNNを用い、変換同変Q値近似のための誘導バイアスについて検討する。 我々は,RLエージェントの性能と試料効率を高対称な環境下で劇的に向上させることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T02:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。