論文の概要: SPAR: Support-Preserving Action Rectification
- arxiv url: http://arxiv.org/abs/2605.27877v1
- Date: Wed, 27 May 2026 02:53:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.697297
- Title: SPAR: Support-Preserving Action Rectification
- Title（参考訳）: SPAR:Action Rectificationのサポート
- Authors: Jiaxin Zhao, Weihang Pan, Xun Liang, Binbin Lin,
- Abstract要約: 本研究では,グローバルラーニングを,凍結した純粋な行動クローニングポリシに固定された局所的残差整流として再編成する支援保存行動整流法(SPAR)を提案する。
このフレームワークは、残余空間において微細なフィッティングと局所的なポリシー改善を行い、それによって探索空間を収縮させる。
さらに、潜時サンプリング重み付き回帰機構を利用して、残空間の収着改善勾配競合に対処する潜時自己イミテーションを導入する。
- 参考スコア（独自算出の注目度）: 21.412581761834996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Offline policy improvement faces an inherent conflict between maximizing value and fitting the data distribution. While in-sample weighted regression is stable, it suffers from over-conservatism that suppresses high-value actions in the distribution tail; conversely, gradient-based approaches often exhibit a fitting-optimization conflict of gradients, which drives the policy off the data manifold. To address this, we propose Support-Preserving Action Rectification (SPAR), which reframes global learning as a local residual rectification anchored to a frozen pure behavior cloning policy. This framework performs fine-grained fitting and local policy improvement in the residual space, thereby contracting the search space. We further introduce Latent Self-Imitation, utilizing a latent-sampling weighted-regression mechanism to address fitting-improvement gradient conflict in the residual space. Theoretically, we prove this mechanism eliminates the manifold-normal drift of standard value gradients, while extensive D4RL experiments show SPAR extracts significant gains from suboptimal baselines to achieve state-of-the-art performance.
- Abstract（参考訳）: オフラインポリシーの改善は、価値の最大化とデータ分散の適合に固有の対立に直面します。
サンプル内重み付き回帰は安定であるが、分布尾における高値な作用を抑制する過保守性に悩まされる。
そこで本研究では,グローバルラーニングを局所的残差補正として,凍結した純粋な行動クローニングポリシに固定したSPAR(Support-Preserving Action Rectification)を提案する。
このフレームワークは、残余空間において微細なフィッティングと局所的なポリシー改善を行い、それによって探索空間を収縮させる。
さらに、潜時サンプリング重み付き回帰機構を利用して、残空間の収着改善勾配競合に対処する潜時自己イミテーションを導入する。
理論的には、このメカニズムは標準値勾配の多様体正規ドリフトを排除し、より広範なD4RL実験により、SPARは準最適基底線から重要な利得を抽出し、最先端の性能を達成する。
関連論文リスト
- Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。
DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。
6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
論文 参考訳（メタデータ） (2026-05-17T07:14:44Z) - DegBins: Degradation-Driven Binning for Depth Super-Resolution [57.61783461543096]
DegBinsは、劣化駆動のビンニングを利用して残留モデリングを適応的に強化する新しいDSRフレームワークである。
DegBinsは、精度、堅牢性、一般化の観点から、既存の最先端メソッドを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-10T16:17:11Z) - Unsupervised Behavioral Compression: Learning Low-Dimensional Policy Manifolds through State-Occupancy Matching [42.26405543045843]
アクションベースのポリシー圧縮(APC)は、サンプル非効率であると広く認識されている。
我々は,行動表現を即時的行動マッチングから長期的状態空間カバレッジにシフトさせることにより,APCを向上させるOccupancy-based Policy Compression (OPC)を紹介した。
これらの修正により、生成モデルは真の機能的類似性を取り巻く潜在空間を整理し、幅広い振る舞いを一般化する潜在表現を促進する。
論文 参考訳（メタデータ） (2026-03-27T23:16:27Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Anchored Policy Optimization: Mitigating Exploration Collapse Via Support-Constrained Rectification [14.911955979675772]
我々は,グローバルな形状マッチングからサポートカバレッジへパラダイムをシフトさせるアンコレッドポリシー最適化(APO)を提案する。
APOは精度と多様性のトレードオフを破り、Pass@1を大幅に改善します。
論文 参考訳（メタデータ） (2026-02-05T14:41:57Z) - Less is More: Clustered Cross-Covariance Control for Offline RL [13.198112768636207]
オフライン強化学習における基本的な課題は、分散シフトである。
ローカルなリプレイパーティションへの更新を制限する分割バッファサンプリングを提案する。
また,各更新における共分散誘発バイアスを解消する,明確な勾配に基づく補正ペナルティも導入する。
論文 参考訳（メタデータ） (2026-01-28T16:55:04Z) - GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。
PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。
重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
論文 参考訳（メタデータ） (2025-10-25T14:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。