論文の概要: Disentangling Task-Relevant Latent Dynamics for Reward Modeling

• arxiv url: http://arxiv.org/abs/2610.14159v1
• Date: Fri, 09 Oct 2026 17:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:54:25.685591
• Title: Disentangling Task-Relevant Latent Dynamics for Reward Modeling
• Title（参考訳）: リワードモデリングのためのタスク関連潜時ダイナミクスの分散化
• Abstract要約: リワードデザインは、ロボット操作における強化学習の大きなボトルネックであり続けている。 異種ビデオから高密度報酬を学習するフレームワークであるDiTaR(Disentangling Task-Relevant Latent Dynamics for Reward Modeling)を提案する。 DiTaRはビデオベース報酬ベースラインよりもMetaWorld-v3とManiSkillのポリシー学習を大幅に改善することを示す。
• 参考スコア（独自算出の注目度）: 81.30336046616573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward design remains a major bottleneck for reinforcement learning in robotic manipulation. Handcrafted dense rewards can compensate for the limited guidance provided by sparse rewards, but require substantial task-specific reward engineering. Learning rewards from videos provides a scalable, data-driven alternative to manual reward design. However, existing video-based rewards are often computed in entangled visual spaces where task-relevant state changes are confounded with extraneous visual variation. As a result, the learned reward may respond to visual distractors instead of actual task execution. To address this limitation, we propose DiTaR (Disentangling Task-Relevant Latent Dynamics for Reward Modeling), a framework for learning dense rewards from heterogeneous videos. DiTaR learns a continuous task-relevant representation from multi-frame video latents through an asymmetric two-stage procedure that suppresses task-irrelevant visual variation. In the task-relevant latent space, we train a history- and language-conditioned rectified-flow model to capture task dynamics and derive a directional dense reward from temporal changes in dynamics compatibility. Together, these components enable reward modeling directly over task-relevant dynamics rather than generic visual variation. DiTaR substantially improves policy learning on MetaWorld-v3 and ManiSkill over video-based reward baselines, and transfers to real-world offline RL through reward relabeling. Reward analyses further show that DiTaR provides more reliable rewards.
• Abstract（参考訳）: リワードデザインは、ロボット操作における強化学習の大きなボトルネックであり続けている。 手作りの密集した報酬は、まばらな報酬によって提供される限られたガイダンスを補うことができるが、相当なタスク固有の報酬工学を必要とする。 ビデオから報酬を学ぶことは、手動の報酬設計に代わるスケーラブルでデータ駆動の選択肢を提供する。 しかし、既存のビデオベースの報酬は、タスク関連の状態変化が余分な視覚的変動と組み合わせられた、絡み合った視覚空間で計算されることが多い。 結果として、学習した報酬は実際のタスク実行の代わりに視覚的邪魔に反応する。 この制限に対処するため、異種ビデオから高密度報酬を学習するフレームワークであるDiTaR(Disentangling Task-Relevant Latent Dynamics for Reward Modeling)を提案する。 DiTaRは、タスク非関連視覚変動を抑制する非対称な2段階プロシージャを通じて、マルチフレームビデオラテントから連続的なタスク関連表現を学習する。 タスク関連潜在空間において、タスクダイナミクスをキャプチャし、動的互換性の時間的変化から指向性密度の高い報酬を導き出すために、履歴および言語条件の修正フローモデルを訓練する。 これらのコンポーネントは、一般的な視覚的バリエーションではなく、タスク関連ダイナミクスを直接モデリングすることを可能にする。 DiTaRは、ビデオベースの報酬ベースラインよりもMetaWorld-v3とManiSkillのポリシー学習を大幅に改善し、報酬レバリングを通じて現実世界のオフラインRLに転送する。 Reward Analysisは、DiTaRがより信頼できる報酬を提供することを示している。

関連論文リスト

• TaRL: Learning General and Physical Rewards from Tactile Demonstrations [4.821277948970684]
  接触に富んだ操作には、ロボットが正確な接触をシークエンスし、安定した握力を維持し、指示力を適用する必要がある。 視覚的な報酬学習は、アクションフリーのデモンストレーションから報酬を推測することでこの問題に対処する。 触覚の実証から報酬を学習するフレームワークである触覚リワード学習(TaRL)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:56:43Z)
• GORDON: Graph-based Object-centric Rewards for Decomposition of Long-Horizon Manipulation [15.203442273197455]
  GORDONはグラフベースのオブジェクト中心報酬学習フレームワークである。 アクションフリーのビデオデモから、深い報酬を学べる。 長期のタスクで平均74.4%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-08-04T14:43:41Z)
• Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning [34.259169810657895]
  ビデオ生成モデルは視覚的に一貫性のあるコンテンツを生成するが、空間的推論と多段階計画を必要とするタスクに苦労する。 モーズ解決およびロボットナビゲーションタスクのための客観的タスクメトリクスに基づく検証可能な報酬関数を設計する。 実験により、検証可能な報酬を用いたRL微調整が一般化を改善することが示された。 系統的な報酬分析では、検証可能な報酬は安定したトレーニングに不可欠であるのに対し、マルチモーダル報酬モデルは解を退化させる可能性がある。
  論文  参考訳（メタデータ） (2026-03-29T20:53:00Z)
• RLAR: An Agentic Reward System for Multi-task Reinforcement Learning on Large Language Models [86.61108562387993]
  RLAR(Reinforcement Learning from Agent Rewards)はエージェント駆動のフレームワークで、個別のクエリに動的に調整された報酬関数を割り当てる。 RLARは, 数学, コーディング, 翻訳, 対話タスクにおける10から60までの連続的な性能向上を示す。
  論文  参考訳（メタデータ） (2026-02-28T16:14:43Z)
• TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance [36.22149703563646]
  TimeRewarderは、受動的ビデオから進捗推定信号を導出する、シンプルで効果的な報酬学習手法である。 TimeRewarderはスパース・リワードタスクのRLを大幅に改善し、タスク1タスク当たり20,000のインタラクションしか持たない9/10タスクでほぼ完璧に成功することを示す。
  論文  参考訳（メタデータ） (2025-09-30T17:58:20Z)
• GRAM-R$^2$: Self-Training Generative Foundation Reward Models for Reward Reasoning [90.99527142037853]
  GRAM-R$2$は、好みのラベルだけでなく、報酬の合理性も生み出すために訓練された生成的報酬モデルである。 GRAM-R$2$は報酬推論の基礎モデルとして機能し、最小あるいは追加の微調整なしで幅広いタスクに適用できる。
  論文  参考訳（メタデータ） (2025-09-02T16:41:07Z)
• Subtask-Aware Visual Reward Learning from Segmented Demonstrations [97.80917991633248]
  本稿では,新しい報酬学習フレームワークであるReward Learning from Demonstration with Demonstrationsを紹介する。 我々は,映像セグメントとそれに対応するサブタスクに条件付けされた高密度報酬関数を訓練し,地道報酬信号との整合性を確保する。 実験の結果,REDSはメタワールドにおける複雑なロボット操作タスクのベースライン手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-28T01:25:37Z)
• Auto MC-Reward: Automated Dense Reward Design with Large Language Models for Minecraft [88.80684763462384]
  本稿では,Large Language Models (LLMs) を利用して高密度報酬関数を自動設計する,Auto MC-Rewardという高度な学習システムを提案する。 実験では、Minecraftの複雑なタスクにおいて、エージェントの成功率と学習効率が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-12-14T18:58:12Z)
• Image Augmentation Based Momentum Memory Intrinsic Reward for Sparse Reward Visual Scenes [10.595970476434113]
  実生活における多くのシーンは、エージェントがタスクに取り組むのが困難な、まばらな報酬の視覚シーンに抽象化することができる。 本稿では,この問題を視覚表現とスパース報酬という2つのサブプロブレムに分解することを提案する。 視覚表現では、画像強化されたフォワードダイナミクスと報酬の組合せによって駆動される表現を取得する。 スパース報酬のために、新しいタイプの内因性報酬、 Momentum Memory Intrinsic Reward (MMIR) がデザインされる。
  論文  参考訳（メタデータ） (2022-05-19T10:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。