Fugu-MT 論文翻訳(概要): Extrapolation in Gridworld Markov-Decision Processes

論文の概要: Extrapolation in Gridworld Markov-Decision Processes

arxiv url: http://arxiv.org/abs/2004.06784v1
Date: Tue, 14 Apr 2020 20:07:10 GMT
ステータス: 処理完了
システム内更新日: 2022-12-13 09:06:18.824744
Title: Extrapolation in Gridworld Markov-Decision Processes
Title（参考訳）: グリッドワールドマルコフ決定過程における外挿
Authors: Eugene Charniak
Abstract要約: 強化学習における外挿は、訓練時に起こり得なかったような状態をテスト時に一般化する能力である。簡単なGridworld環境における外挿改善につながる4つの要因について考察する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Extrapolation in reinforcement learning is the ability to generalize at test time given states that could never have occurred at training time. Here we consider four factors that lead to improved extrapolation in a simple Gridworld environment: (a) avoiding maximum Q-value (or other deterministic methods) for action choice at test time, (b) ego-centric representation of the Gridworld, (c) building rotational and mirror symmetry into the learning mechanism using rotational and mirror invariant convolution (rather than standard translation-invariant convolution), and (d) adding a maximum entropy term to the loss function to encourage equally good actions to be chosen equally often.
Abstract（参考訳）: 強化学習における外挿は、訓練時に起こり得なかったような状態をテスト時に一般化する能力である。ここでは,単純なグリッドワールド環境における外挿改善につながる4つの要因について考察する。 (a)テスト時の動作選択に対して最大Q値(または他の決定論的方法)を避ける。 b) グリッドワールドのエゴ中心表現 (c)回転・ミラー不変畳み込みを用いた学習機構への回転・ミラー対称性の構築(標準翻訳・不変畳み込みではなく) (d)損失関数に最大エントロピー項を加えることで、等しく良いアクションが等しく選択されることを奨励する。

関連論文リスト

Gradient Span Algorithms Make Predictable Progress in High Dimension [0.0]
我々は、全ての「漸進的アルゴリズム」が、無限大となる傾向があるため、スケールされたランダム関数に決定論的に就いていることを証明した。分布仮定はトレーニングに使用されるが、ランダムグラスやスピンも含む。
論文参考訳（メタデータ） (2024-10-13T19:26:18Z)
Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
論文参考訳（メタデータ） (2024-05-16T17:58:44Z)
Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文参考訳（メタデータ） (2023-06-06T09:12:49Z)
Koopman Kernel Regression [6.116741319526748]
クープマン作用素理論は線形時間不変(LTI)ODEによる予測のキャラクタリゼーションに有効なパラダイムであることを示す。我々は、LTI力学系への変換のみにまたがる、普遍的なクープマン不変核再生ヒルベルト空間(RKHS)を導出する。実験では、Koopman演算子やシーケンシャルデータ予測器と比較して予測性能が優れていることを示した。
論文参考訳（メタデータ） (2023-05-25T16:22:22Z)
Stochastic Training is Not Necessary for Generalization [57.04880404584737]
勾配降下の暗黙的な正則化(SGD)は、ニューラルネットワークで観測される印象的な一般化の振る舞いに基礎的であると広く信じられている。本研究では,SGDと同等のCIFAR-10において,非確率的フルバッチトレーニングが強力な性能を発揮することを示す。
論文参考訳（メタデータ） (2021-09-29T00:50:00Z)
Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization [40.21627891283402]
本稿では,競争ゲームの均衡の計算問題について考察する。エントロピー正則化のアルゴリズム的役割に動機付けられ、我々は証明可能な効率の良い指数関数法を開発した。
論文参考訳（メタデータ） (2021-05-31T17:51:15Z)
Eccentric Regularization: Minimizing Hyperspherical Energy without explicit projection [0.913755431537592]
アイテム間の一対の反発力をシミュレートする新しい正規化損失関数を紹介します。この損失関数を分離して最小化すると超球面分布が得られることを示す。本稿では,この偏心正規化手法をオートエンコーダに適用し,画像生成,表現学習,下流分類タスクにおいてその効果を示す。
論文参考訳（メタデータ） (2021-04-23T13:55:17Z)
On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
論文参考訳（メタデータ） (2021-02-26T18:58:29Z)
Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文参考訳（メタデータ） (2021-01-15T11:39:09Z)
Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文参考訳（メタデータ） (2020-08-12T15:02:59Z)
Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
本稿では,データ駆動型汎用全深度変動正規化器について紹介する。コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。我々は多数の画像処理タスクに対して最先端の結果を得る。
論文参考訳（メタデータ） (2020-06-15T21:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。