論文の概要: SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control

• arxiv url: http://arxiv.org/abs/2605.00787v1
• Date: Fri, 01 May 2026 17:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:29.023323
• Title: SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control
• Title（参考訳）: SAVGO: 連続制御のためのコサイン類似性を用いた状態-摩擦値幾何学の学習
• Authors: Stavros Orfanoudakis, Pedro P. Vergara,
• Abstract要約: 本稿では,ポリシー更新に値に基づく類似性を明示的に組み込んだ幾何学的RLアルゴリズムを提案する。 State-Action Value Geometry Optimization (SAVGO) は、類似のアクション値の推定値を持つペアが高いコサイン類似性を示す共同状態-アクション埋め込み空間を学習する。 この学習された幾何学は、各更新でサンプリングされた候補アクションに対する類似カーネルの生成を可能にし、ポリシーの改善を直接高価値領域へ誘導することを可能にする。
• 参考スコア（独自算出の注目度）: 1.5469452301122175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While representation and similarity learning have improved the sample efficiency of Reinforcement Learning (RL), they are rarely used to shape policy updates directly in the action space. To bridge this gap, a geometry-aware RL algorithm that explicitly incorporates value-based similarity into the policy update, State-Action Value Geometry Optimization (SAVGO), is proposed. In detail, SAVGO learns a joint state-action embedding space in which pairs with similar action-value estimates exhibit high cosine similarity, while dissimilar pairs are mapped to distinct directions. This learned geometry enables the generation of a similarity kernel over candidate actions sampled at each update, allowing policy improvement to be guided directly toward higher-value regions beyond local gradient-based updates. As a result, representation learning, value estimation, and policy optimization are unified within a single geometry-consistent objective, while preserving the scalability of off-policy actor-critic training. The proposed method is evaluated on standard MuJoCo continuous-control benchmarks, demonstrating improvements over strong baselines on challenging high-dimensional tasks. Ablation studies are done to analyze the contributions of value-geometry learning and similarity-based policy updates.
• Abstract（参考訳）: 表現と類似性学習は強化学習(RL)のサンプル効率を改善してきたが、行動空間におけるポリシー更新を直接形成するのにはほとんど使われていない。 このギャップを埋めるために、値に基づく類似性を明示した幾何学的RLアルゴリズムであるState-Action Value Geometry Optimization (SAVGO)を提案する。 より詳しくは、SAVGOは、類似した作用値の推定値を持つペアが高いコサイン類似性を示すとともに、異種ペアを異なる方向へマッピングする結合状態-作用埋め込み空間を学習する。 この学習された幾何学により、各更新でサンプリングされた候補アクションに対する類似カーネルの生成が可能になり、ポリシーの改善は局所的な勾配ベースの更新を超えて、より高価値な領域に直接誘導される。 その結果、表現学習、価値推定、ポリシー最適化は、政治以外のアクター批判訓練のスケーラビリティを保ちながら、単一の幾何学的な目的に統一される。 提案手法は標準のMuJoCo連続制御ベンチマークで評価され,高次元課題に対する強いベースラインに対する改善が示された。 価値幾何学習と類似性に基づく政策更新の貢献を分析するためのアブレーション研究を行っている。

関連論文リスト

• A Loss Landscape Visualization Framework for Interpreting Reinforcement Learning: An ADHDP Case Study [12.940253083606066]
  強化学習アルゴリズムは、動的および制御システムで広く使われている。 本研究では,この手法を学習力学の多視点ビューを提供するフレームワークに拡張する。 このフレームワークは、ADHDPのバリエーションを比較するために適用され、トレーニングスタビライザとターゲット更新が最適化の状況をどのように変えるかを示している。
  論文  参考訳（メタデータ） (2026-03-15T20:47:30Z)
• Learning Policy Representations for Steerable Behavior Synthesis [80.4542176039074]
  マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
  論文  参考訳（メタデータ） (2026-01-29T21:52:06Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Model-based trajectory stitching for improved behavioural cloning and its applications [7.462336024223669]
  トラジェクティブ・スティッチング(TS)は、元のデータで切断された状態のペアを縫い合わせることで、新しいトラジェクトリを生成する。 古い軌道を新しい軌道に置き換える反復的プロセスが、基礎となる行動方針を漸進的に改善することを示した。
  論文  参考訳（メタデータ） (2022-12-08T14:18:04Z)
• A Parametric Class of Approximate Gradient Updates for Policy Optimization [47.69337420768319]
  我々は、勾配形式とスケーリング関数の限定的な選択の観点から、基礎となる更新を再表現する統一的な視点を開発する。 我々は、収束速度と最終的な結果品質の両方の利点をもたらすことができる方法で、既存のアルゴリズムを一般化する、新しいが、動機のよい更新を得る。
  論文  参考訳（メタデータ） (2022-06-17T01:28:38Z)
• Decoupling Value and Policy for Generalization in Reinforcement Learning [20.08992844616678]
  我々は、最適なポリシーを学ぶよりも、価値関数を正確に見積もるためにより多くの情報が必要であると論じる。 IDAAC(Invariant Decoupled Advantage Actor-Critic)の2つのアプローチを提案します。 IDAACは、目に見えない環境に良い一般化を示し、Procgenベンチマークで新しい最先端を実現し、イントラクタでDeepMind Controlタスクで一般的なメソッドを上回ります。
  論文  参考訳（メタデータ） (2021-02-20T12:40:11Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。