論文の概要: Value-Guided Repulsion for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.20190v1
• Date: Wed, 14 Oct 2026 13:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.17364
• Title: Value-Guided Repulsion for Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習のためのバリューガイド型反発
• Abstract要約: 本稿では,アクション値推定を粒子相互作用場に組み込むために,VRQL(Value-Guided Repulsion Q-Learning)を導入する。 それぞれの状態に対して、VRQLは幾何学的カーネル距離と正規化されたQ値スケーリングを組み合わせたものだ。 この機構は、より低い値の粒子に対してより反発的な影響を付与すると同時に、行動行動に対する魅力を厳密に保持する。
• 参考スコア（独自算出の注目度）: 13.682225956925166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Drifting models have emerged as a highly efficient and stable paradigm for policy design in offline reinforcement learning (RL). However, standard drift policies determine repulsion solely from geometric relationships among generated actions and therefore cannot distinguish them by expected value. To address this limitation, we introduce Value-Guided Repulsion Q-Learning (VRQL) to integrate action value estimates into the particle interaction field. For each state, VRQL combines geometric kernel distance with a normalized Q value scaling. This mechanism assigns greater repulsive influence to particles with lower values while strictly retaining attraction toward behavior action. Consequently, this value-guided interaction field aligns behavior regularization with policy improvement without adding an auxiliary behavior model stage. On 50 OGBench task configurations and 6 D4RL AntMaze configurations, VRQL demonstrates highly competitive performance against established baselines, suggesting that value-guided particle interaction is an effective method for offline RL.
• Abstract（参考訳）: ドリフトモデルは、オフライン強化学習(RL)におけるポリシー設計の極めて効率的で安定したパラダイムとして登場した。 しかし、標準ドリフトポリシーは、生成されたアクション間の幾何学的関係からのみ反発を決定づけるため、期待値によってそれらを区別することはできない。 この制限に対処するために、粒子相互作用場にアクション値推定を統合するために、Value-Guided Repulsion Q-Learning (VRQL)を導入する。 それぞれの状態に対して、VRQLは幾何学的カーネル距離と正規化されたQ値スケーリングを組み合わせたものだ。 この機構は、より低い値の粒子に対してより反発的な影響を付与すると同時に、行動行動に対する魅力を厳密に保持する。 したがって、この値誘導相互作用場は、補助行動モデル段階を追加することなく、行動規則化と政策改善を整合させる。 50のOGBenchタスク設定と6つのD4RL AntMaze設定において、VRQLは確立されたベースラインに対して高い競合性能を示し、値誘導粒子相互作用がオフラインRLの有効な方法であることを示唆している。

関連論文リスト

• Q-learning Penalized Transformer for Safe Offline Reinforcement Learning [59.26714065630563]
  本稿では、オフラインデータセットを用いた安全制約を満たすためのポリシーのトレーニングを含む、安全なオフライン強化学習の問題に対処する。 本稿では,制約認識値推定による条件付きシーケンスモデリングを橋渡しする,訓練・推論一貫したフレームワークであるQ-learning Penalized Transformer Policy (QPT)を提案する。 本稿では,Q-penalized conditional generation がいかに安全性と性能を向上するかを特徴付ける,スタイリングされた近決定性CMDPの原理解析を行う。
  論文  参考訳（メタデータ） (2026-09-28T06:43:22Z)
• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Unifying Model-Free Efficiency and Model-Based Representations via Latent Dynamics [6.208369829942616]
  我々は,新しい強化学習アルゴリズムであるUnified Latent Dynamics (ULD)を提案する。 ULDはモデルベースアプローチの表現力でモデルフリー手法の効率を統一する。 Gymロコモーション、DeepMind Control(プロセプティブおよびビジュアル)、Atariにまたがる80環境での評価を行った。
  論文  参考訳（メタデータ） (2026-02-13T06:06:56Z)
• Controllable Value Alignment in Large Language Models through Neuron-Level Editing [87.83756695719667]
  我々は,大言語モデルにおける制御可能な値アライメントのためのニューロンレベルの編集フレームワークNeVAを提案する。 NeVAは、汎用能力においてより少ない性能劣化を招きながら、より強力な目標値アライメントを実現する。 NeVAは平均リークを著しく減らし、残効は意味論的に関連する値クラスに限られる。
  論文  参考訳（メタデータ） (2026-02-07T04:35:16Z)
• Physics-informed Value Learner for Offline Goal-Conditioned Reinforcement Learning [20.424372965054832]
  EmphPhysics-informed (Pi) regularized loss for value learning, derived from the Eikonal partial Differential Equation (PDE)。 トレーニングを安定させるために主に用いられる一般的な勾配のペナルティとは異なり、我々の定式化は連続時間最適制御に基礎を置いており、コスト対ゴ構造に整合する値関数を奨励している。 提案した正規化器は時間差に基づく値学習と広く互換性があり、既存のオフラインGCRLアルゴリズムに統合できる。
  論文  参考訳（メタデータ） (2025-09-08T15:08:42Z)
• QuadKAN: KAN-Enhanced Quadruped Motion Control via End-to-End Reinforcement Learning [2.26464274357758]
  我々は、強化学習(RL)による視覚誘導四足歩行制御に対処する。 Kolmogorov-Arnold Networks (KAN) でインスタンス化されたクロスモーダルポリシーである QuadKAN を提案する。 以上の結果から,QuadKANは最新技術(SOTA)ベースラインよりも一貫して高いリターン,より大きな距離,衝突の少ないことが分かる。
  論文  参考訳（メタデータ） (2025-08-26T16:05:32Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
  オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。 標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。 動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
  論文  参考訳（メタデータ） (2021-10-02T23:55:49Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。