論文の概要: Debiased Model-based Representations for Sample-efficient Continuous Control

• arxiv url: http://arxiv.org/abs/2605.11711v1
• Date: Tue, 12 May 2026 08:02:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.688241
• Title: Debiased Model-based Representations for Sample-efficient Continuous Control
• Title（参考訳）: サンプル効率連続制御のためのデバイアスモデルに基づく表現法
• Authors: Jiafei Lyu, Zichuan Lin, Scott Fujimoto, Kai Yang, Yangkun Chen, Saiyong Yang, Zongqing Lu, Deheng Ye,
• Abstract要約: 本稿では,Q-learning, タグ付きDR.Qアルゴリズムのためのデバイアスモデルに基づく表現を提案する。 DR.Qは、現在の状態-作用対と次の状態の表現の間の相互情報を明示的に最大化する。 我々の結果によると、DR.Qは最近の強いベースラインと一致または超えることができ、時には大きなマージンでそれらを上回ります。
• 参考スコア（独自算出の注目度）: 36.705558101460205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model-based representations recently stand out as a promising framework that embeds latent dynamics information into the representations for downstream off-policy actor-critic learning. It implicitly combines the advantages of both model-free and model-based approaches while avoiding the training costs associated with model-based methods. Nevertheless, existing model-based representation methods can fail to capture sufficient information about relevant variables and can overfit to early experiences in the replay buffer. These incur biases in representation and actor-critic learning, leading to inferior performance. To address this, we propose Debiased model-based Representations for Q-learning, tagged DR.Q algorithm. DR.Q explicitly maximizes the mutual information between the representations of the current state-action pair and the next state besides minimizing their deviations, and samples transitions with faded prioritized experience replay. We evaluate DR.Q on numerous continuous control benchmarks with a single set of hyperparameters, and the results demonstrate that DR.Q can match or surpass recent strong baselines, sometimes outperforming them by a large margin. Our code is available at https://github.com/dmksjfl/DR.Q.
• Abstract（参考訳）: モデルベースの表現は、最近、下流のアクター批判的な学習のための表現に潜伏する動的情報を埋め込む、有望なフレームワークとして際立っている。 モデルベース手法に関連するトレーニングコストを回避しながら、モデルフリーとモデルベースアプローチの両方の利点を暗黙的に組み合わせます。 それでも、既存のモデルベースの表現メソッドは、関連する変数に関する十分な情報を取得できず、リプレイバッファの初期経験に過度に適合する可能性がある。 これらのバイアスは表現とアクター批判学習のバイアスをもたらし、パフォーマンスは低下する。 そこで本研究では,Q-learning, タグ付きDR.Qアルゴリズムのためのデバイアス付きモデルベース表現を提案する。 DR.Qは、現在の状態-動作ペアと次の状態の表現間の相互情報の最大化と、そのずれを最小限に抑えるとともに、優先順位付けされた体験リプレイによるサンプル遷移を明確にする。 我々は,1組のハイパーパラメータを持つ多数の連続制御ベンチマーク上でDR.Qを評価し,DR.Qが近年の強いベースラインに適合または超えることを示した。 私たちのコードはhttps://github.com/dmksjfl/DR.Q.で公開されています。

関連論文リスト

• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models [53.19726629537694]
  ビデオ生成モデルと人間の好みのトレーニング後のアライメントは、重要な目標である。 現在のデータ収集パラダイムは、プロンプト内のペアワイズアノテーションに依存しており、ノイズのラベル付けに悩まされている。 ビデオRMトレーニングのための体系的フレームワークであるSoliRewardを提案する。
  論文  参考訳（メタデータ） (2025-12-17T14:28:23Z)
• Model Correlation Detection via Random Selection Probing [62.093777777813756]
  既存の類似性に基づく手法では、モデルパラメータにアクセスしたり、しきい値なしでスコアを生成する必要がある。 本稿では,モデル相関検出を統計的テストとして定式化する仮説テストフレームワークであるランダム選択探索(RSP)を紹介する。 RSPは相関の証拠を定量化する厳密なp-値を生成する。
  論文  参考訳（メタデータ） (2025-09-29T01:40:26Z)
• LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
  基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。 我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
  論文  参考訳（メタデータ） (2025-02-15T10:18:46Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。