論文の概要: Deep Reinforcement Learning with Vector Quantized Encoding

• arxiv url: http://arxiv.org/abs/2211.06733v1
• Date: Sat, 12 Nov 2022 19:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 19:10:48.639691
• Title: Deep Reinforcement Learning with Vector Quantized Encoding
• Title（参考訳）: ベクトル量子符号化による深層強化学習
• Authors: Liang Zhang, Justin Lieffers, Adarsh Pyarelal
• Abstract要約: 深部強化学習(RL)法における状態特徴のクラスタリング手法を提案する。 我々は古典的なRLパイプラインをベクトル量子化(VQ)符号化に基づく補助的分類タスクで拡張し、ポリシートレーニングと整合する。 シミュレーションでは,VQ-RLが解釈性を改善し,その強靭性および深部RLの一般化に与える影響を検証した。
• 参考スコア（独自算出の注目度）: 2.955419572714387
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Human decision-making often involves combining similar states into categories and reasoning at the level of the categories rather than the actual states. Guided by this intuition, we propose a novel method for clustering state features in deep reinforcement learning (RL) methods to improve their interpretability. Specifically, we propose a plug-and-play framework termed \emph{vector quantized reinforcement learning} (VQ-RL) that extends classic RL pipelines with an auxiliary classification task based on vector quantized (VQ) encoding and aligns with policy training. The VQ encoding method categorizes features with similar semantics into clusters and results in tighter clusters with better separation compared to classic deep RL methods, thus enabling neural models to learn similarities and differences between states better. Furthermore, we introduce two regularization methods to help increase the separation between clusters and avoid the risks associated with VQ training. In simulations, we demonstrate that VQ-RL improves interpretability and investigate its impact on robustness and generalization of deep RL.
• Abstract（参考訳）: 人間の意思決定は、しばしば類似した状態をカテゴリに組み合わせ、実際の状態ではなくカテゴリのレベルで推論する。 この直感で導かれた本研究では, 深部強化学習(RL)法における状態特徴のクラスタリング手法を提案する。 具体的には,vector quantized reinforcement learning(vq-rl)と呼ばれる,ベクトル量子化(vq)符号化に基づく補助分類タスクで古典rlパイプラインを拡張し,ポリシトレーニングに適合するプラグイン・アンド・プレイフレームワークを提案する。 vq符号化法は、類似したセマンティクスを持つ特徴をクラスタに分類し、古典的なディープrl法と比較して、より優れた分離でより密なクラスタを生成する。 さらに,クラスタ間の分離を向上し,VQトレーニングに伴うリスクを回避するために,2つの正規化手法を導入する。 シミュレーションでは,VQ-RLが解釈性を改善し,その強靭性および深部RLの一般化に与える影響を検証した。

関連論文リスト

• Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation [51.06031200728449]
  我々はmccHRLと呼ばれる新しいフレームワークを提案し、リストワイドレコメンデーションにおける時間的抽象化のレベルを異なるものにする。 階層的な枠組みの中では、ハイレベルエージェントがユーザ知覚の進化を研究し、低レベルエージェントがアイテム選択ポリシーを作成している。 その結果,本手法による性能改善は,いくつかのよく知られたベースラインと比較して有意な結果が得られた。
  論文  参考訳（メタデータ） (2024-09-11T17:01:06Z)
• VQ-Flow: Taming Normalizing Flows for Multi-Class Anomaly Detection via Hierarchical Vector Quantization [101.41553763861381]
  本稿では,マルチクラス異常検出における流れの正規化の可能性について検討する。 我々はフローモデルに、教師なしの方法で複数のクラス正規データの異なる概念を区別する権限を与え、結果としてVQ-Flowという新しいフローベース統一手法が生み出された。 提案されたVQ-Flowは、統合トレーニングスキーム内でのマルチクラスの異常検出の最先端を推し進め、MVTec ADで99.5%/98.3%のAUROCが得られる。
  論文  参考訳（メタデータ） (2024-09-02T05:01:41Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。 本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• VQC-Based Reinforcement Learning with Data Re-uploading: Performance and Trainability [0.8192907805418583]
  強化学習(Reinforcement Learning, RL)は、人間の監督なしに知的意思決定を行うエージェントを設計する。 Deep NNを使用するRLアルゴリズムであるDeep Q-Learningは、いくつかの特定のタスクで超人的なパフォーマンスを達成した。 また、RLアルゴリズムの関数近似器として変分量子回路(VQC)を用いることもできる。
  論文  参考訳（メタデータ） (2024-01-21T18:00:15Z)
• Reinforcement Replaces Supervision: Query focused Summarization using Deep Reinforcement Learning [43.123290672073814]
  クエリに基づいて文書から要約を生成するシステムを扱う。 Reinforcement Learning (RL) が自然言語生成のための Supervised Learning (SL) の一般化を提供するという知見に触発されて,本課題に RL ベースのアプローチを用いる。 我々は、ROUGE、BLEU、Semantic similarityといった様々な報酬信号に基づいて訓練された複数のポリシーグラディエントネットワークを開発する。
  論文  参考訳（メタデータ） (2023-11-29T10:38:16Z)
• LL-VQ-VAE: Learnable Lattice Vector-Quantization For Efficient Representations [0.0]
  学習可能な格子ベクトル量子化を導入し、離散表現の学習に有効であることを示す。 LL-VQ-VAEと呼ばれるこの手法は、VQ-VAEのベクトル量子化層を格子ベースの離散化に置き換える。 VQ-VAEと比較して、同じトレーニング条件下での低い再構成誤差、短時間のトレーニング、一定数のパラメータで得られる。
  論文  参考訳（メタデータ） (2023-10-13T20:03:18Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Cross-Trajectory Representation Learning for Zero-Shot Generalization in RL [21.550201956884532]
  高次元の観察空間上のいくつかのタスクで学んだポリシーを、トレーニング中に見えない同様のタスクに一般化する。 この課題に対する多くの有望なアプローチは、RLを2つの関数を同時に訓練するプロセスと見なしている。 本稿では,RLエージェント内で動作するクロストラジェクトリ表現学習(CTRL, Cross-Trajectory Representation Learning)を提案する。
  論文  参考訳（メタデータ） (2021-06-04T00:43:10Z)
• Multi-level Feature Learning on Embedding Layer of Convolutional Autoencoders and Deep Inverse Feature Learning for Image Clustering [6.5358895450258325]
  我々は集合的クラスタリングを多段階の特徴学習として使用し、潜在的特徴空間の階層構造を提供する。 マルチレベル機能学習を適用することで、基本的な深層畳み込みクラスタリングが大幅に改善される。 CAE-MLEの深い逆特徴学習(Deep IFL)は、最先端の結果につながる新しいアプローチである。
  論文  参考訳（メタデータ） (2020-10-05T21:24:10Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。