論文の概要: SCQ: Stabilizing Conservative Q-Learning with Sigmoid-Bounded Entropy
- arxiv url: http://arxiv.org/abs/2609.12749v1
- Date: Fri, 11 Sep 2026 11:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 10:54:53.426994
- Title: SCQ: Stabilizing Conservative Q-Learning with Sigmoid-Bounded Entropy
- Title（参考訳）: SCQ:Sigmoid-Bunded Entropyによる保守的Q-Learningの安定化
- Abstract要約: SCQ(Sigmoid-Bounded conservative Q-Learning)を導入し、標準的な対数エントロピー項を厳密な正のシグモイド有界な定式化に置き換える。
SCQはベースラインのパフォーマンスと一致またはオーバーし、ステートベースおよびビジュアルベンチマーク間のより安定したトレーニングダイナミックスを示す。
直接クリッピング介入は、傾きにマッチした正スコア制御とともに、負の対数確率の寄与を除去し、特定のスコアの形状だけでなく、肯定性も改善の多くを駆動していることを示す。
- 参考スコア（独自算出の注目度）: 2.299479454443024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Offline-to-online reinforcement learning reduces interaction cost for real-world robot learning but suffers from persistent value estimation instability. Existing methods address this through pessimistic regularization, lower-bound calibration, and architectural normalization, but an overlooked source of instability lies in the entropy formulation: the standard log-entropy term can become negative, destabilizing policy updates. We introduce SCQ (Sigmoid-Bounded Conservative Q-Learning), which replaces this term with a sigmoid-bounded formulation that stays strictly positive. SCQ retains conservative Q regularization and return-based lower-bound calibration, stabilizing policy optimization without sacrificing exploration. We evaluate SCQ on D4RL (Minari) benchmarks under both single-demonstration and standard dataset settings, as well as on simulation and real-world visual tasks. SCQ matches or exceeds baseline performance while exhibiting more stable training dynamics across state-based and visual benchmarks, and transfers to four real-robot platforms including manipulation, wheeled, quadruped, and humanoid systems. A direct clipping intervention that removes negative log-probability contributions, together with gradient-matched positive-score controls, indicates that positivity rather than a particular score shape alone drives much of the improvement. Project website: https://scq-rl.github.io.
- Abstract（参考訳）: オフライン・オンライン強化学習は、実世界のロボット学習における相互作用コストを低減させるが、持続的価値推定の不安定性に悩まされる。
既存の手法では、悲観的正規化、下限キャリブレーション、アーキテクチャ正規化を通じてこの問題に対処するが、見過ごされた不安定性の源はエントロピーの定式化にある。
我々は、SCQ(Sigmoid-Bounded conservative Q-Learning)を導入し、この用語をSigmoid-bounded formulation(sigmoid-bounded formulation)に置き換える。
SCQは、保守的なQ正規化とリターンベースの低バウンドキャリブレーションを維持し、探索を犠牲にすることなく政策最適化を安定化する。
我々は,D4RL(ミナリ)ベンチマークのSCQを,シミュレーションや実世界の視覚的タスクと同様に,シングルデモと標準データセット設定の両方で評価する。
SCQは、状態ベースと視覚ベンチマークをまたいだより安定したトレーニングダイナミクスを示し、操作、車輪、四脚、ヒューマノイドシステムを含む4つの実ロボットプラットフォームに転送する。
負の対数確率の寄与を除去する直接クリッピング介入と、勾配マッチングされた正スコア制御は、特定のスコアの形状だけでなく、肯定性も改善の多くを駆動していることを示している。
プロジェクトウェブサイト: https://scq-rl.github.io
関連論文リスト
- Revisiting TD Target Aggregation under Uncertainty in Q-Learning [2.4908682918195804]
Deep Q-Networks(DQN)は、ブートストラップされた時間差分更新を通じて値関数を学習する。
我々は、TDターゲットの生成方法を規則化するQラーニングへの簡単なロールアウトである、textbfSuccessor Rollout textbfAggregation textbfDeep textbfQ-Network (SADQ)を提案する。
論文 参考訳（メタデータ） (2026-08-04T03:31:24Z) - Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。
テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。
実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
論文 参考訳（メタデータ） (2026-06-09T16:45:57Z) - From Robotics to Sepsis Treatment: Offline RL via Geometric Pessimism [0.0]
CQLのようなメソッドは厳格な保守性を提供しますが、膨大な計算能力が必要です。
IQLはしばしば、病理データセットのOODエラーの修正に失敗し、Behavioural Cloningに崩壊する。
我々は密度に基づくペナルティで標準のIQLを拡張する計算効率の高いフレームワークであるGeometric Pessimismを提案する。
論文 参考訳（メタデータ） (2026-02-09T13:48:25Z) - Trainability-Oriented Hybrid Quantum Regression via Geometric Preconditioning and Curriculum Optimization [0.6445605125467574]
量子ニューラルネットワーク(QNN)は、科学的な機械学習への関心が高まっている。
レグレッション設定では、ノイズのある勾配の下でのトレーサビリティの制限や、不条件の最適化に悩まされることが多い。
本稿では、これらのボトルネックを軽減するために設計されたハイブリッド量子古典回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-17T07:32:18Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Enhancing Q-Value Updates in Deep Q-Learning via Successor-State Prediction [3.2883573376133555]
ディープQ-Networks(DQN)は、リプレイバッファからサンプリングされた遷移から学習することで、将来のリターンを推定する。
SADQは後続状態分布をQ値推定プロセスに統合する。
我々は、SADQがトレーニングのばらつきを低減しつつ、不偏値の推定を維持できることを理論的に保証する。
論文 参考訳（メタデータ） (2025-11-05T20:04:53Z) - Relative Entropy Pathwise Policy Optimization [66.03329137921949]
そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。
安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
論文 参考訳（メタデータ） (2025-07-15T06:24:07Z) - ACL-QL: Adaptive Conservative Level in Q-Learning for Offline Reinforcement Learning [46.67828766038463]
本稿では,Q-Learning(ACL-QL)における適応保守レベル(Adaptive Conservative Level in Q-Learning, ACL-QL)を提案する。
ACL-QLは、各状態-作用ペアに対する保守的なレベルの適応的な制御を可能にする。
理論解析により,2つの学習可能な適応重み関数を用いて各遷移の保守レベルを制御する新しいアルゴリズム ACL-QL を提案する。
論文 参考訳（メタデータ） (2024-12-22T04:18:02Z) - Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。
既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。
本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-08T11:24:59Z) - Strategically Conservative Q-Learning [89.17906766703763]
オフライン強化学習(RL)は、RLの実用性を拡張するための魅力的なパラダイムである。
オフラインRLの最大の難しさは、オフ・オブ・ディストリビューション(OOD)アクションに遭遇する際の近似誤差の影響を緩和することである。
本稿では, 予測が容易かつ困難であるOODデータを識別する, SCQ(Strategical conservative Q-Learning) という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-06T22:09:46Z) - Mildly Conservative Q-Learning for Offline Reinforcement Learning [63.2183622958666]
オフライン強化学習(RL)は、環境と継続的に対話することなく、静的なログ付きデータセットから学習するタスクを定義する。
既存のアプローチ、目に見えない行動のペナルティ化、行動方針の規則化は悲観的すぎる。
我々は,適切な擬似Q値を割り当てることで,OODアクションを積極的に訓練するマイルリー保守的Q-ラーニング(MCQ)を提案する。
論文 参考訳（メタデータ） (2022-06-09T19:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。