論文の概要: PWM: Personalized World Models with Online Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.04920v1
- Date: Sun, 04 Oct 2026 03:57:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:55:23.837337
- Title: PWM: Personalized World Models with Online Reinforcement Learning
- Title（参考訳）: PWM:オンライン強化学習によるパーソナライズされた世界モデル
- Abstract要約: 事前訓練された世界モデルは多様な環境を生成することができるが、ユーザーは自分のビデオで指定された特定のシーンを探索したい場合が多い。
これは、アクション条件付き世代の品質を維持しながら、シーンの視覚的アイデンティティを学ぶ必要がある。
PWM(Personalized World Models)は,インタラクティブな世界モデルを短時間のビデオからカスタマイズするためのフレームワークである。
- 参考スコア（独自算出の注目度）: 16.439245251335887
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pretrained world models can generate diverse environments, yet users often want to explore a particular scene specified by their own video. This requires learning the scene's visual identity while retaining the quality of action-conditioned generation. We introduce Personalized World Models (PWM), a framework for customizing interactive world models from short scene videos through online reinforcement learning. In PWM, the support trajectory and its associated controls provide reward feedback on continuations sampled from the current policy. In the GRPO instantiation, group-relative optimization updates a compact LoRA adapter using a unified reward for scene appearance, visual continuity, and motion, while base-policy anchoring regularizes changes to the pretrained generation prior of a frozen Yume-5B backbone. The same adaptation procedure is applied across real and rendered environments. We also instantiate PWM with DiffusionNFT as an alternative reward-guided optimization method for learning the scene-specific adapter. We also introduce PWM-Bench, comprising 150 customization tasks across Indoor, Outdoor, and Gaming, with paired evaluation on held-out continuations. The GRPO and DiffusionNFT instantiations of PWM improve customization over native Yume in 71.3% and 65.3% of the evaluated scenes, respectively, with positive mean gains across all three domains. For the GRPO instantiation, matched SFT comparisons further demonstrate higher mean customization gains and better mean image-quality scores in every domain, while retaining frame-level visual quality close to the pretrained model.
- Abstract（参考訳）: 事前訓練された世界モデルは多様な環境を生成することができるが、ユーザーは自分のビデオで指定された特定のシーンを探索したい場合が多い。
これは、アクション条件付き世代の品質を維持しながら、シーンの視覚的アイデンティティを学ぶ必要がある。
PWM(Personalized World Models)は、オンライン強化学習を通じて、短いシーンビデオからインタラクティブな世界モデルをカスタマイズするためのフレームワークである。
PWMでは、サポートトラジェクトリとその関連するコントロールが、現在のポリシーからサンプリングされた継続に対する報酬フィードバックを提供する。
GRPOインスタンス化において、グループ相対最適化は、シーンの外観、視覚的連続性、動きに対する統一的な報酬を使用してコンパクトなLoRAアダプタを更新する。
同じ適応手順が実環境やレンダリング環境に適用される。
また,PWMをDiffusionNFTでインスタンス化し,シーン固有のアダプタを学習するための報酬誘導最適化手法を提案する。
Indoor,Outdoor,Gamingの150のカスタマイズタスクを含むPWM-Benchを導入し,保留継続性の評価を行った。
PWMのGRPOとDiffusionNFTのインスタンス化は、それぞれ評価されたシーンの71.3%と65.3%で、それぞれ3つのドメインで肯定的な平均ゲインを達成している。
GRPOインスタンス化では、一致したSFT比較により、事前訓練されたモデルに近いフレームレベルの視覚的品質を維持しながら、各領域における平均カスタマイズ率と平均画像品質スコアをより高めることができる。
関連論文リスト
- WorldReward: Reward Modeling for Camera-Conditioned World Models [56.14617966299295]
本稿では,VLMに基づくカメラコンディショニング世界モデルに対するペアワイズ優先報酬モデルであるWorldRewardを紹介する。
WorldRewardは、ペア化されたビデオをアクション整合したチャンクに分解し、各チャンクを構造化された視覚的エビデンスに整理し、ビデオレベルのアクションと視覚的品質の好みに投票することでチャンクレベルの決定を集約する。
WorldReward は GPT-5.5 の3.42 倍、 1.45 倍、および 3.56 倍の3つの次元で最高合意を達成している。
論文 参考訳（メタデータ） (2026-09-03T14:53:53Z) - HOLO-MPPI: Multi-Scenario Motion Planning via Hierarchical Policy Optimization [8.210283573775568]
我々は,高レベル政策学習と低レベル最適制御を組み合わせた多シナリオ運動計画フレームワークHOLO-MPPIを提案する。
オフラインでは、オンラインロールアウトのための学習された世界モデルを用いて、抽象的なアクション空間におけるシナリオロバスト計画を提案する高レベルなポリシーを学習する。
オンラインでは、現在の観測と目標に基づいてMPPIのサンプリング分布をパラメータ化するデータ駆動の事前生成器として機能する。
その後MPPIは、この前回までの低レベル制御シーケンスをリアルタイムで最適化し、局所的な障害に適応する。
論文 参考訳（メタデータ） (2026-06-15T09:49:14Z) - Co-GRPO: Co-Optimized Group Relative Policy Optimization for Masked Diffusion Model [74.99242687133408]
Masked Diffusion Models (MDMs) は、視覚、言語、モーダル・ジェネレーションにまたがる有望な可能性を示している。
本稿では,MDM生成をMDP(Markov Decision Process)として再構成し,モデルと推論スケジュールを併用するCo-GRPOを提案する。
論文 参考訳（メタデータ） (2025-12-25T12:06:04Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳（メタデータ） (2025-12-13T16:31:26Z) - DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。
我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。
NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2025-12-12T10:39:10Z) - FedPPA: Progressive Parameter Alignment for Personalized Federated Learning [0.9931624906346306]
フェデレートラーニング(FL)は、複数のクライアントがデータを共有せずに協調的にモデルをトレーニングできる、分散されたプライバシ保護機械学習パラダイムとして設計されている。
実世界のシナリオでは、クライアントは不均一な計算資源を持ち、非独立で同一の分散データ(非IID)を保持し、トレーニング中に重大な課題を生じさせる。
本稿では,クライアント間の共通レイヤの重み付けとグローバルモデルの重み付けを段階的に整合させるプログレッシブアライメント(FedPPA)を提案する。
MNIST、FMNIST、CIFAR-10を含む3つの画像分類データセットの実験は、FedPPAが既存のFLアルゴリズムより一貫して優れていることを示した。
論文 参考訳（メタデータ） (2025-10-16T14:03:05Z) - Dynamic Classifier-Free Diffusion Guidance via Online Feedback [53.54876309092376]
ワンサイズオール"アプローチは、異なるプロンプトの多様な要件に適応できない。
動的CFGスケジューリングのためのフレームワークを提案する。
我々は,小型モデルと最先端のImagen 3におけるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2025-09-19T16:27:19Z) - Transformer World Model for Sample Efficient Multi-Agent Reinforcement Learning [2.3964255330849356]
我々は、強化学習のための新しいトランスフォーマーベース世界モデルであるMulti-Agent Transformer World Model(MATWM)を提案する。
MATWMは、分散化された想像力フレームワークと半集中型の批評家とチームメイト予測モジュールを組み合わせる。
我々は,StarCraft Multi-Agent Challenge, PettingZoo, MeltingPotなど,幅広いベンチマークでMATWMを評価した。
論文 参考訳（メタデータ） (2025-06-23T11:47:17Z) - SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。
我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。
我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文 参考訳（メタデータ） (2023-12-20T03:54:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。