論文の概要: RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences

• arxiv url: http://arxiv.org/abs/2607.14180v1
• Date: Wed, 15 Jul 2026 14:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.854904
• Title: RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences
• Title（参考訳）: RENEW:世界モデルを学習し, 選好からモデル爆発を修復する
• Abstract要約: 世界モデルはオフラインの強化学習で使われ、サンプル効率を改善し、固定データセットを超えたエクスペリエンスを生成する。 提案手法は,人間の嗜好を直接利用して,実情を再現するものである。 我々は,いくつかのジュマンジーや古典的な制御環境について評価し,DLHFが大きめの選好予算を必要とするのに対して,RENEWはフレームワークを実用的なものにする。
• 参考スコア（独自算出の注目度）: 10.933305190411934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models are widely used in offline reinforcement learning (RL) to improve sample efficiency and generate experience beyond a fixed dataset. However, they are vulnerable to model exploitation where data coverage is thin. Prior work addresses this either by collecting more expert demonstrations, which is often expensive, unsafe, or unavailable, or by conservative algorithms that avoid uncertain regions, which limits generalization. We propose instead to repair exploitation directly using human preferences over imagined rollouts, leveraging the strong intuitive physics that allows humans to easily spot egregious dynamics hallucinations. We formalize this as Dynamics Learning from Human Feedback (DLHF), a Bradley-Terry preference loss over trajectory log-likelihoods under a learned dynamics model. Unfortunately, naive DLHF is sample inefficient, so we introduce RENEW, which uses epistemic uncertainty to focus finetuning where the model is most exploitable. We evaluate on several Jumanji and classic control environments and find that while naive DLHF requires an outsize preference budget, RENEW makes the framework practical by improving sample efficiency, limiting catastrophic forgetting, and reducing exploitation in pretrained world models. Taken together, our results provide initial evidence that preferences can supervise world model dynamics directly, offering a new approach to addressing exploitation in offline model-based RL.
• Abstract（参考訳）: 世界モデルは、オフライン強化学習(RL)において、サンプル効率を改善し、固定データセットを超えたエクスペリエンスを生成するために広く使用されている。 しかし、データカバレッジが薄いモデルエクスプロイトには脆弱性がある。 以前の作業では、しばしば高価、安全でない、あるいは利用できない、より専門的なデモンストレーションを集めるか、あるいは、一般化を制限する不確実な領域を避ける保守的なアルゴリズムによってこの問題に対処する。 そこで,本研究では,人間による展開よりも人間の嗜好を直接利用して,人間による過激なダイナミックス幻覚の発見を容易にする,強い直感的な物理を活用して,エクスプロイトを修復することを提案する。 我々は、このことを、学習力学モデルの下で、トラジェクタログのような軌道上のBradley-Terry選好損失である、ヒューマンフィードバックからのダイナミクス学習(DLHF)として定式化する。 残念なことに、単純DLHFはサンプル非効率であるため、疫学的な不確実性を利用してモデルを最も活用可能な場所で微調整するRENEWを導入する。 我々は,いくつかのジュマンジーや古典的な制御環境について評価し,DLHFが大きめの選好予算を必要とするのに対して,RENEWは,サンプル効率の向上,破滅的な忘れ込みの制限,事前訓練された世界モデルでの活用の削減などにより,フレームワークを実用的にする。 本研究の結果は,世界モデルのダイナミクスを直接監視できることを示す最初の証拠であり,オフラインモデルベースRLにおけるエクスプロイトに対処するための新しいアプローチを提供する。

関連論文リスト

• Unbiased Alignment for Large Language Models with Noisy Preferences [74.69408994904965]
  本稿では,Unbiased Reward Model(URM)損失とUnbiased Direct Preference Optimization(UDPO)損失を導入した非バイアスアライメントの理論的枠組みを提案する。 好み雑音によって引き起こされる歪みを数学的に補正することにより、我々の新しい目的はノイズの多いデータセットから直接バイアスのないモデルトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-07-03T12:04:43Z)
• Divergence Decoding: Inference-Time Unlearning via Auxiliary Models [2.1485350418225244]
  Divergence Decoding(DD)は、小さな補助モデルを使用して、推論中の特定のデータから大規模言語モデルのロジットを分離するメカニズムである。 本手法は,非学習ベンチマークにおいて,最先端(SOTA)ベースラインを決定的に上回っている。
  論文  参考訳（メタデータ） (2026-05-29T13:29:01Z)
• PROWL: Prioritized Regret-Driven Optimization for World Model Learning [20.10187986360715]
  我々は,拡散に基づく世界モデルの高次軌道を公開するための政策を訓練する,KL制約の逆行カリキュラムを導入する。 提案手法をMineRLフレームワークで実装し, 既設のアウト・オブ・ディストリビューション・トラジェクトリで評価する。
  論文  参考訳（メタデータ） (2026-05-11T14:24:19Z)
• Disentangled World Models: Learning to Transfer Semantic Knowledge from Distracting Videos for Reinforcement Learning [65.85335291827086]
  本稿では,オフラインからオンラインまでの潜水蒸留とフレキシブルなゆがみ制約を通したビデオから,セマンティックな違いを学習し,理解することを試みる。 動作自由なビデオ予測モデルを非干渉正規化によりオフラインでトレーニングし、注意をそらすビデオから意味的知識を抽出する。 オンライン環境での微調整には、事前学習されたモデルからの知識を活用し、世界モデルに絡み合った制約を導入する。
  論文  参考訳（メタデータ） (2025-03-11T13:50:22Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
  本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。 このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:18:15Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
  本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。 我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:57:46Z)
• RAFT: Reward rAnked FineTuning for Generative Foundation Model Alignment [32.752633250862694]
  生成基礎モデルは、広範囲の教師なしのトレーニングデータから生じる暗黙のバイアスに影響を受けやすい。 我々は、生成モデルを効果的に整合させるために設計された新しいフレームワーク、Reward rAnked FineTuningを紹介する。
  論文  参考訳（メタデータ） (2023-04-13T18:22:40Z)
• Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
  ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。 ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。 本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
  論文  参考訳（メタデータ） (2021-10-27T04:27:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。