Fugu-MT 論文翻訳(概要): A Robust Quantile Huber Loss With Interpretable Parameter Adjustment In Distributional Reinforcement Learning

論文の概要: A Robust Quantile Huber Loss With Interpretable Parameter Adjustment In Distributional Reinforcement Learning

arxiv url: http://arxiv.org/abs/2401.02325v2
Date: Sun, 7 Jan 2024 22:22:33 GMT
ステータス: 処理完了
システム内更新日: 2024-01-09 11:29:27.437494
Title: A Robust Quantile Huber Loss With Interpretable Parameter Adjustment In Distributional Reinforcement Learning
Title（参考訳）: 分布強化学習における解釈パラメータ調整によるロバスト量子ハマーの損失
Authors: Parvin Malekzadeh, Konstantinos N. Plataniotis, Zissis Poulos, Zeyu Wang
Abstract要約: 本稿では、ワッサーシュタイン距離(WD)計算から導かれる一般化量子ハマー損失関数を提案する。古典的な量子ハマー損失と比較して、この革新的な損失関数は外れ値に対する堅牢性を高める。分散RLの一般的な応用であるアタリゲームに対する実証実験と、分布RLを用いた最近のヘッジ戦略により、提案した損失関数を検証した。
参考スコア（独自算出の注目度）: 19.89141873890568
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributional Reinforcement Learning (RL) estimates return distribution mainly by learning quantile values via minimizing the quantile Huber loss function, entailing a threshold parameter often selected heuristically or via hyperparameter search, which may not generalize well and can be suboptimal. This paper introduces a generalized quantile Huber loss function derived from Wasserstein distance (WD) calculation between Gaussian distributions, capturing noise in predicted (current) and target (Bellman-updated) quantile values. Compared to the classical quantile Huber loss, this innovative loss function enhances robustness against outliers. Notably, the classical Huber loss function can be seen as an approximation of our proposed loss, enabling parameter adjustment by approximating the amount of noise in the data during the learning process. Empirical tests on Atari games, a common application in distributional RL, and a recent hedging strategy using distributional RL, validate the effectiveness of our proposed loss function and its potential for parameter adjustments in distributional RL. The implementation of the proposed loss function is available here.
Abstract（参考訳）: 分布強化学習(英語版) (rl) は、主に量子量的フーバー損失関数を最小化し、しばしばヒューリスティックに選択されるしきい値パラメータやハイパーパラメータ探索を伴って量子量的値を学習することで、帰納分布を推定する。本稿では、ガウス分布間のワッサーシュタイン距離(WD)計算から導かれる一般化量子ハマー損失関数を導入し、予測(電流)と目標(ベルマン更新)量子化値のノイズを捕捉する。古典的な量子ハマー損失と比較して、この革新的な損失関数は外れ値に対する堅牢性を高める。特に、古典的なハマー損失関数は、提案した損失の近似と見なすことができ、学習過程におけるデータのノイズ量の近似によるパラメータ調整を可能にする。分散RLの一般的な応用であるアタリゲームに対する実証実験と、分布RLを用いた最近のヘッジ戦略により、提案した損失関数の有効性と分布RLにおけるパラメータ調整の可能性を検証する。提案する損失関数の実装はここで見ることができる。

関連論文リスト

Semiparametric conformal prediction [79.6147286161434]
リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
論文参考訳（メタデータ） (2024-11-04T14:29:02Z)
EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
論文参考訳（メタデータ） (2024-09-02T02:40:42Z)
Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文参考訳（メタデータ） (2024-06-05T13:36:38Z)
Variance-Reducing Couplings for Random Features [57.73648780299374]
ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文参考訳（メタデータ） (2024-05-26T12:25:09Z)
Robust Non-parametric Knowledge-based Diffusion Least Mean Squares over Adaptive Networks [12.266804067030455]
提案アルゴリズムは, 協調推定器群における未知パラメータベクトルのロバストな推定に導かれる。その結果,異なるノイズの種類が存在する場合,提案アルゴリズムのロバスト性を示す。
論文参考訳（メタデータ） (2023-12-03T06:18:59Z)
Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。我々は,分布保証が消えることを示し,推定分布が急速に崩壊して平均推定値が崩壊することを実証的に観察する。提案手法は,$L$の学習効率を生かして,返却分布の予測値と量子化値とを協調的に学習し,返却分布の完全な分布を推定し,効率的な学習を可能にするものである。
論文参考訳（メタデータ） (2023-05-26T12:30:05Z)
A Jensen-Shannon Divergence Based Loss Function for Bayesian Neural Networks [0.0]
幾何JSの発散に基づくBNNの新たな損失関数を定式化し、従来のKL発散に基づく損失関数が特別な場合であることを示す。我々は、雑音の多いCIFARデータセットの分類において、最先端KL発散に基づくBNNの性能改善を示す。
論文参考訳（メタデータ） (2022-09-23T01:47:09Z)
Statistical Properties of the log-cosh Loss Function Used in Machine Learning [0.0]
本稿では,ログコッシュ損失が発生する分布関数について述べる。また、量子レグレッションにlog-cosh関数を用いる方法についても検討する。
論文参考訳（メタデータ） (2022-08-09T07:03:58Z)
How do noise tails impact on deep ReLU networks? [2.5889847253961418]
非パラメトリック回帰関数のクラスにおける最適収束速度が p, 滑らか度, 内在次元に依存することを示す。我々はまた、深部ReLUニューラルネットワークの近似理論に関する新しい結果にも貢献する。
論文参考訳（メタデータ） (2022-03-20T00:27:32Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。