論文の概要: A Geometric Approach to Soft Actor-Critic with Zonotopes for Locomotion Learning

• arxiv url: http://arxiv.org/abs/2610.12113v1
• Date: Thu, 08 Oct 2026 15:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.109002
• Title: A Geometric Approach to Soft Actor-Critic with Zonotopes for Locomotion Learning
• Title（参考訳）: ゾノトープを用いたロコモーション学習のためのソフトアクタークリティカルの幾何学的アプローチ
• Abstract要約: 独占的アクター-批判的手法は2人の批評家を最低限に抑えて過大評価バイアスを制御する。 本稿では,幾何表現を用いたGeZo-SACを提案する。 解析の結果,GeZo-SACは評価手法の中で,平均アクチュエータの作業量および動作時間あたりの作業量が最少であることがわかった。
• 参考スコア（独自算出の注目度）: 15.317096303774788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Off-policy actor--critic methods control overestimation bias by taking the minimum of two critics. This uses the same aggregation rule everywhere, regardless of how the critics disagree. We propose \textbf{GeZo-SAC}, which uses auxiliary geometric representations to adapt critic pessimism to the state and action. Alongside its scalar value, each critic predicts a set of generators defining a zonotope. Probing this zonotope along sampled directions provides a geometric width, "subtracted from each critic value as a pessimistic offset, and a measure of disagreement between the two critics, aggregated with log-sum-exp. This disagreement controls how the critics are combined, moving from a width-weighted average toward the usual minimum as disagreement increases. At inference, the deployed policy is an unmodified SAC actor, since the generators are used only on the critic side during training.Across four MuJoCo-v5 locomotion benchmarks and six off-policy baselines, GeZo-SAC achieves the highest mean return on Ant-v5 and Hopper-v5 and remains competitive with other methods on the remaining tasks. Our analysis further shows that GeZo-SAC achieves the lowest average actuator work and action effort per metre among the evaluated methods, while maintaining near-zero measured overestimation frequency across all four environments.
• Abstract（参考訳）: オフ・ポリティック・アクター-批判的手法は、最低2人の批評家による過大評価バイアスを制御する。 これは、批評家がどう反対するかに関わらず、どこでも同じアグリゲーションルールを使用する。 本稿では, 擬似幾何学的表現を用いて, 批評家の悲観を状態と行動に適応させる「textbf{GeZo-SAC}」を提案する。 そのスカラー値に加えて、各批評家はゾノトープを定義するジェネレータのセットを予測する。 サンプリングされた方向に沿ってこのゾノトープを求めると、「悲観的なオフセットとして各批評家値から抽出される」幾何学的な幅と、log-sum-expで集約された2人の批評家間の不一致の尺度が得られる。 この意見の相違は、意見の相違が大きくなるにつれて、批評家がどのように結合するかを制御し、幅の重み付け平均から通常最低値に移動する。 GeZo-SACはAnt-v5とHopper-v5で最高のリターンを達成し、残りのタスクで他のメソッドと競合し続けている。 解析の結果,GeZo-SACは,4つの環境すべてにわたってほぼゼロに近い過大評価周波数を維持しながら,平均アクチュエータの作業量と作業時間あたりの作業量が最少であることが判明した。

関連論文リスト

• EasyPPO: Stabilizing the Critic Is Key [57.76826550536797]
  PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。 批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。 EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
  論文  参考訳（メタデータ） (2026-09-29T06:15:00Z)
• Best Practice Critic Optimization [23.2221736020451]
  批判に基づくトレーニングのレシピは、しばしば不安定である。 DPPO,報酬範囲に束縛された値予測,モンテカルロ値の目標,非正規化ポリシの優位性,長さ適応型汎用的優位性推定を組み合わせたレシピを開発した。
  論文  参考訳（メタデータ） (2026-08-24T17:59:39Z)
• Refined Analysis of Entropy-Regularized Actor-Critic [26.419221337454008]
  エントロピー・レギュラー化・有限割引環境における批評家の役割について検討する。 これはまず批評家に学び、各アクターのアップデート後に最新の状態に保つことを示唆している。
  論文  参考訳（メタデータ） (2026-05-23T02:41:07Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Decoupled Q-Chunking [63.864222078287575]
  チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。 私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。 この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
  論文  参考訳（メタデータ） (2025-12-11T18:52:51Z)
• IL-SOAR : Imitation Learning with Soft Optimistic Actor cRitic [52.44637913176449]
  本稿では、模倣学習のためのSOARフレームワークを紹介する。 これは、コストとポリシーの更新を交互に行うプリミティブデュアルスタイルのアルゴリズムで、専門家によるデモンストレーションからポリシーを学ぶアルゴリズムテンプレートである。 いくつかの MuJoCo 環境では,f-IRL,ML-IRL,CSIL などのソフトアクタ批判に基づく模倣学習アルゴリズムの性能を一貫して向上することが示されている。
  論文  参考訳（メタデータ） (2025-02-27T08:03:37Z)
• Decision-Aware Actor-Critic with Function Approximation and Theoretical Guarantees [12.259191000019033]
  アクター・クリティック(AC)法は強化学習(RL)に広く用いられている 我々は、俳優と批評家を意思決定で訓練するための共同目標を設計する。 簡単なRL問題に対する意思決定対応型アクター批判フレームワークの利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-24T15:34:21Z)
• Controlling Overestimation Bias with Truncated Mixture of Continuous Distributional Quantile Critics [65.51757376525798]
  過大評価バイアスは、政治以外の学習を正確にするための主要な障害の1つである。 本稿では,連続制御環境における過大評価バイアスを軽減する新しい手法について検討する。 我々の方法--Truncated Quantile Critics, TQC----は、批評家の分布表現、批評家予測の切り離し、複数の批評家のアンサンブルの3つの考えを反映している。
  論文  参考訳（メタデータ） (2020-05-08T19:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。