論文の概要: PrivilegedDreamer: Explicit Imagination of Privileged Information for Rapid Adaptation of Learned Policies
- arxiv url: http://arxiv.org/abs/2502.11377v1
- Date: Mon, 17 Feb 2025 02:46:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:08:37.989290
- Title: PrivilegedDreamer: Explicit Imagination of Privileged Information for Rapid Adaptation of Learned Policies
- Title（参考訳）: PrivilegedDreamer: 学習政策の迅速適応のためのPrivleged Informationの明示的イマジネーション
- Authors: Morgan Byrd, Jackson Crandell, Mili Das, Jessica Inman, Robert Wright, Sehoon Ha,
- Abstract要約: モデルに基づく強化学習フレームワークであるPrivlegedDreamerを紹介する。
5つのHIP-MDPタスクに関する実証分析により、PrivlegedDreamerは最先端のモデルベース、モデルフリー、do-main適応学習アルゴリズムより優れていることが示された。
- 参考スコア（独自算出の注目度）: 7.376615925443845
- License:
- Abstract: Numerous real-world control problems involve dynamics and objectives affected by unobservable hidden pa- rameters, ranging from autonomous driving to robotic manipu- lation, which cause performance degradation during sim-to-real transfer. To represent these kinds of domains, we adopt hidden- parameter Markov decision processes (HIP-MDPs), which model sequential decision problems where hidden variables parameterize transition and reward functions. Existing ap- proaches, such as domain randomization, domain adaptation, and meta-learning, simply treat the effect of hidden param- eters as additional variance and often struggle to effectively handle HIP-MDP problems, especially when the rewards are parameterized by hidden variables. We introduce Privileged- Dreamer, a model-based reinforcement learning framework that extends the existing model-based approach by incorporating an explicit parameter estimation module. PrivilegedDreamer features its novel dual recurrent architecture that explicitly estimates hidden parameters from limited historical data and enables us to condition the model, actor, and critic networks on these estimated parameters. Our empirical analysis on five diverse HIP-MDP tasks demonstrates that PrivilegedDreamer outperforms state-of-the-art model-based, model-free, and do- main adaptation learning algorithms. Additionally, we conduct ablation studies to justify the inclusion of each component in the proposed architecture.
- Abstract（参考訳）: 多くの現実世界の制御問題は、自律運転からロボットマニプ-リレーションまで、観測不能なパ-ラメータの影響を受け、シム・トゥ・リアル・トランスファー時のパフォーマンス劣化を引き起こす。
このような領域を表現するために、隠れパラメータマルコフ決定プロセス(HIP-MDP)を採用し、隠れ変数が遷移と報酬関数をパラメータ化する逐次決定問題をモデル化する。
ドメインのランダム化、ドメイン適応、メタラーニングといった既存のap-proacheは、隠れたパラムエアーの効果を付加的な分散として扱うだけで、特に隠れた変数によって報酬がパラメータ化される場合、しばしばHIP-MDP問題に効果的に対処するのに苦労する。
モデルに基づく強化学習フレームワークであるPrivleged-Dreamerを紹介する。
PrivilegedDreamerは、制限された履歴データから隠されたパラメータを明示的に推定し、これらの推定パラメータに対してモデル、アクター、および批評家ネットワークを条件付けることができる新しいデュアルリカレントアーキテクチャを備えている。
5つのHIP-MDPタスクに関する実証分析により、PrivlegedDreamerは最先端のモデルベース、モデルフリー、do-main適応学習アルゴリズムより優れていることが示された。
さらに,提案アーキテクチャにおける各コンポーネントの含意を正当化するためのアブレーション研究を実施している。
関連論文リスト
- Unified Parameter-Efficient Unlearning for LLMs [25.195126838721492]
大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクに対する高度な理解と推論を可能にする。
これは、モデルが不注意に機密情報や望ましくない情報を保持および拡散する可能性があるため、重要なプライバシーとセキュリティ上の懸念を提起する。
本稿では,非学習タスクを体系的に分類し,影響関数を用いた高精度な調整を行う,新しいインスタンス単位のアンラーニングフレームワークLLMEraserを紹介する。
論文 参考訳（メタデータ） (2024-11-30T07:21:02Z) - Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。
概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。
我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
論文 参考訳（メタデータ） (2024-10-31T20:05:51Z) - Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.05167902805405]
異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。
MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。
MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
論文 参考訳（メタデータ） (2024-04-20T08:34:39Z) - Variational Inference of Parameters in Opinion Dynamics Models [9.51311391391997]
この研究は、変数推論を用いて、意見力学 ABM のパラメータを推定する。
我々は推論プロセスを自動微分に適した最適化問題に変換する。
提案手法は, シミュレーションベース法とMCMC法より, マクロ的(有界信頼区間とバックファイア閾値)と微視的(200ドル, エージェントレベルの役割)の両方を正確に推定する。
論文 参考訳（メタデータ） (2024-03-08T14:45:18Z) - ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
論文 参考訳（メタデータ） (2023-12-14T15:53:07Z) - Mitigate Domain Shift by Primary-Auxiliary Objectives Association for
Generalizing Person ReID [39.98444065846305]
ReIDモデルは、インスタンス分類の目的に関するトレーニングを通じてのみドメイン不変表現を学ぶのに苦労します。
本稿では,弱いラベル付き歩行者唾液度検出のための補助学習目標を用いて,プライマリReIDインスタンス分類目標のモデル学習を指導する手法を提案する。
我々のモデルは、最近のテストタイムダイアグラムで拡張してPAOA+を形成し、補助的な目的に対してオンザフライ最適化を行うことができる。
論文 参考訳（メタデータ） (2023-10-24T15:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。