論文の概要: Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.14953v1
- Date: Sat, 10 Oct 2026 14:25:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.134379
- Title: Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
- Title（参考訳）: オフライン・コントラスト・ゴール・コンディション強化学習のための実効的ロールアウト
- Abstract要約: Causal Contrastive Reinforcement Learning (CauCRL)は、正および負のオフラインデモから悲観的な反実的遷移を学ぶ。
我々は、反ファクト的なロールアウトを批判者に訓練し、目標達成タスクにおける標準CRLよりも成功率を大幅に向上させる。
- 参考スコア（独自算出の注目度）: 4.694853406308763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive reinforcement learning (CRL) learns goal-conditioned values by associating state--action pairs with the states subsequently reached, assuming that no unobserved variable jointly affects the recorded action and its outcome. When offline demonstrations come from a demonstrator with information hidden from the learner, this assumption fails and the critic absorbs spurious action--outcome associations. We formalize this setting with confounded Markov decision processes and introduce counterfactual transitions that separate what the data identify from what they do not; minimizing over all compatible transitions yields a worst-case occupancy that lower-bounds the true one. Causal Contrastive Reinforcement Learning (CauCRL) learns a pessimistic counterfactual transition from positive and negative offline demonstrations and trains the critic on counterfactual rollouts, substantially improving success rates over standard CRL on confounded goal-reaching tasks.
- Abstract（参考訳）: コントラスト強化学習(CRL)は、観測されていない変数が記録された行動とその結果に共同で影響を及ぼさないと仮定して、状態-動作ペアを関連付けて目標条件値を学ぶ。オフラインデモが学習者から隠された情報を持つ実証者から来ると、この仮定は失敗し、批評家は素早い行動-アウトカム関係を吸収する。
我々は、この設定を、既成のマルコフ決定プロセスで形式化し、データを識別するものとそうでないものとを分離する反ファクト的な遷移を導入する。
Causal Contrastive Reinforcement Learning (CauCRL)は、正および負のオフラインデモから悲観的な反実的移行を学び、反実的ロールアウトを批判者に訓練し、目標達成タスクにおける標準CRLよりも成功率を大幅に向上させる。
関連論文リスト
- CARF: Contrastive Attraction-Repulsion of Failure-Guided Flow Matching [47.17214978232977]
既存の手法は、通常、タスク完了に向けてまだ進行しているセグメントを特定することによって、失敗した軌道を悪用する。
本稿では,不完全なロボットデータから学習するための,障害誘導フレームワークのコントラストトラクション・イントラクション・リプロクションを提案する。
論文 参考訳（メタデータ） (2026-09-18T16:43:35Z) - TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning [18.411026872661083]
オフラインRL(TOUR)におけるトラジェクトリレベルのmemOrizationとUnlearningを導入する。
TOURは、トラジェクトリレベルのパーティショニング、マッチした非メンバーコントロール、参照の再トレーニング、保持されたパフォーマンスアンカー、プライバシ監査を組み合わせたものだ。
一般的な削除ベースラインは環境に依存したプライバシ・ユーティリティーの挙動を示す。
論文 参考訳（メタデータ） (2026-07-23T09:40:40Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning [80.78140312980484]
我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。
我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。
様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2026-05-13T11:04:31Z) - Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。
RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。
複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-12T20:46:05Z) - The Cancellation Hypothesis in Critic-Free RL: From Outcome Rewards to Token Credits [56.379030343338776]
トークンレベルでの批判フリーなRLについて検討し,トークンフライング現象を明らかにした。
トークンの確率変化は、それ自身の利点によって完全に決定されないことを示し、他のトークンとの結合勾配相互作用も無視できない役割を担っている。
論文 参考訳（メタデータ） (2026-05-09T04:07:20Z) - Beyond Non-Expert Demonstrations: Outcome-Driven Action Constraint for Offline Reinforcement Learning [17.601574372211232]
本稿では,現実的なデータを用いたオフライン強化学習の課題,特に準最適行動ポリシを通じて収集された非専門的データに対処する。
このような状況下では、学習したポリシーは、オフラインデータから悪いデモンストレーションを扱うのに十分な柔軟性を維持しながら、分散シフトを管理するのに十分な安全でなければならない。
本稿では,行動方針の実証的行動分布への依存度を低減し,その悪影響を低減しようとする,アウトカム駆動行動柔軟性(ODAF)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2025-04-02T13:27:44Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。