論文の概要: Generative Value Classifier

• arxiv url: http://arxiv.org/abs/2610.22497v1
• Date: Thu, 15 Oct 2026 18:00:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.614363
• Title: Generative Value Classifier
• Title（参考訳）: 生成値分類器
• Abstract要約: 状態-作用対の値を予測する関数を学習するための新しいアプローチを提案する。 状態-作用ペアの戻りを直接予測するのではなく、逆の質問に答える。 オフラインとオンラインの両方のRLタスクに対する我々のアプローチを評価し、主要な差別的手法よりも優位性を示す。
• 参考スコア（独自算出の注目度）: 86.39096745224855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Q-learning is premised on learning a function to predict the value of a state-action pair, with the goal of using such a function to guide policy improvement. Most approaches learn this function from scratch using scalar or distributional return targets. This discriminative approach leaves another source of supervision for learning representations unused: the actions themselves. Rather than directly predict the return of a state-action pair, we ask the reverse question: how likely is the action under each possible return? This perspective provides a critic whose generative component is a return-conditioned policy, which can share the actor's architecture. Training this policy supervises the critic with every action rather than with returns alone, and a squared-error loss anchors the critic's Q-value to the bootstrapped target. We evaluate our approach on both offline and online RL tasks and show gains over leading discriminative methods, including distributional RL methods.
• Abstract（参考訳）: Q-ラーニングは、状態-作用ペアの価値を予測する関数の学習を前提としており、そのような関数を使用して政策改善を導くことを目的としている。 ほとんどのアプローチでは、スカラーや分散リターンターゲットを使って、スクラッチからこの関数を学習する。 この差別的なアプローチは、未使用の表現(行動そのもの)を学習するための別の監督源を残している。 状態-作用ペアの戻りを直接予測するのではなく、逆の質問に答える。 この視点は、生成コンポーネントが戻り条件付きポリシーであり、アクターのアーキテクチャを共有することができる批評家を提供する。 このポリシーの訓練は、リターンだけでではなく、全てのアクションで批評家を監督し、四角いエラーの損失は、批評家のQ値がブートストラップされたターゲットに固定される。 オフラインとオンラインの両方のRLタスクに対する我々のアプローチを評価し、分布的RLメソッドを含む主要な差別的手法よりも優位性を示す。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Decoupling Policy Extraction for Offline Reinforcement Learning [18.247325284604553]
  オフラインのRLメソッドは通常、アクターと批評家を共同で訓練する。 従来のオフラインRLパラダイムを再検討し、アクタートレーニングからポリシー改善を分離することを提案する。 具体的には、アクターが個別に学習した批評家と複数のアクター生成提案を並べ替えることで、行動分布をモデル化し、推論時にポリシー改善を行うように、アクターを訓練する。
  論文  参考訳（メタデータ） (2026-08-21T09:26:53Z)
• Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation [0.0]
  強化学習(Reinforcement Learning)は、環境フィードバックを用いて大規模言語モデルを訓練するために一般的に用いられる。 トレーニングフレームワークであるセルフレビュー強化学習を導入し、各RLエピソードに明確な自己レビューステップを組み込む。 ファーストパス応答が失敗すると、モデルが自己レビューを生成して、何がうまくいかなかったかを識別する。
  論文  参考訳（メタデータ） (2026-07-06T18:24:16Z)
• Double Check My Desired Return: Transformer with Target Alignment for Offline Reinforcement Learning [64.6334337560557]
  教師付き学習(RvS)による強化学習は、シーケンスモデリングタスクとしてオフラインRLをフレーム化する。 決定変換器(DT)は、実際の完了したリターンを特定のターゲットリターンと確実に整合させるのに苦労する。 そこで我々は,Offline RLの目標アライメントによる変換器の二重チェックを行う新しいアプローチであるDoctorを提案する。
  論文  参考訳（メタデータ） (2025-08-22T14:30:53Z)
• Return-Aligned Decision Transformer [13.973995766656332]
  オフライン強化学習における従来のアプローチは、リターンとして知られる累積報酬を最大化する最適なポリシーを学ぶことを目的としている。 本研究では、実際のリターンと目標リターンをより効果的に整合させるために、リターンアラインメント決定変換器(RADT)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T11:46:47Z)
• State-Action Similarity-Based Representations for Off-Policy Evaluation [7.428147895832805]
  我々は,OPEが調整した状態行動類似度指標を導入し,この指標と固定データセットを用いて,この指標をモデル化したエンコーダを学習する。 我々は,FQE と OPE の誤りに対するデータ効率を,OPE の課題に対する他の OPE ベース表現学習手法と比較して向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-27T18:00:57Z)
• IDQL: Implicit Q-Learning as an Actor-Critic Method with Diffusion Policies [72.4573167739712]
  Implicit Q-learning(IQL)は、修正されたBellmanバックアップを通じてデータセットアクションのみを使用して、Q-関数をトレーニングする。 この訓練されたQ-関数で表される値が実際にどのポリシーで達成されるのかは不明である。 我々はImplicit Q-learning (IDQL)を導入し、一般のIQL批判とポリシー抽出手法を組み合わせた。
  論文  参考訳（メタデータ） (2023-04-20T18:04:09Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。