論文の概要: Risk Aversion In Learning Algorithms and an Application To Recommendation Systems

• arxiv url: http://arxiv.org/abs/2205.04619v1
• Date: Tue, 10 May 2022 01:30:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-14 22:57:47.675339
• Title: Risk Aversion In Learning Algorithms and an Application To Recommendation Systems
• Title（参考訳）: 学習アルゴリズムにおけるリスク回避と推薦システムへの応用
• Authors: Andreas Haupt and Aroon Narayanan
• Abstract要約: 上位信頼バンド(UCB)や$varepsilon$-Greedyのような一般的な学習アルゴリズムはリスク回避を示す。 UCBはまた,リスク回避行動を示し,早期学習においてリスク回避が持続的に現れることを示した。 本稿では,他のバンディットアルゴリズムの拡張,強化学習,および決定理論に対するアルゴリズム的リスク回避の影響について考察する。
• 参考スコア（独自算出の注目度）: 0.20305676256390928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Consider a bandit learning environment. We demonstrate that popular learning algorithms such as Upper Confidence Band (UCB) and $\varepsilon$-Greedy exhibit risk aversion: when presented with two arms of the same expectation, but different variance, the algorithms tend to not choose the riskier, i.e. higher variance, arm. We prove that $\varepsilon$-Greedy chooses the risky arm with probability tending to $0$ when faced with a deterministic and a Rademacher-distributed arm. We show experimentally that UCB also shows risk-averse behavior, and that risk aversion is present persistently in early rounds of learning even if the riskier arm has a slightly higher expectation. We calibrate our model to a recommendation system and show that algorithmic risk aversion can decrease consumer surplus and increase homogeneity. We discuss several extensions to other bandit algorithms, reinforcement learning, and investigate the impacts of algorithmic risk aversion for decision theory.
• Abstract（参考訳）: バンディット学習環境を考える。 我々は,upper confidence band (ucb) や $\varepsilon$-greedy といった一般的な学習アルゴリズムがリスク回避を示すことを実証する。 我々は、$\varepsilon$-Greedyが決定論的かつラデマチャー分布のアームに直面した場合、確率が0$となる危険腕を選択することを証明した。 UCBはリスク回避行動も示しており,リスク回避は,リスクの高い腕がわずかに高い期待を抱いても,早期学習において持続的に現れることを実験的に示す。 このモデルをレコメンデーションシステムに校正し,アルゴリズムによるリスク回避が消費者の余剰を減少させ,均質性を高めることを示す。 本稿では,他のバンディットアルゴリズムの拡張,強化学習,決定理論に対するアルゴリズム的リスク回避の影響について考察する。

関連論文リスト

• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Constrained Online Two-stage Stochastic Optimization: Algorithm with (and without) Predictions [19.537289123577022]
  有限地平線上の長期制約付きオンライン2段階最適化をT$周期で検討する。 対戦型学習アルゴリズムからオンライン二段階問題のオンラインアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-01-02T07:46:33Z)
• Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
  本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。 本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。 我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
  論文  参考訳（メタデータ） (2023-10-02T08:15:52Z)
• Fundamental Bounds on Online Strategic Classification [13.442155854812528]
  戦略設定において,決定論的アルゴリズムが$o(Delta)$の誤りを達成できないことを示す。 また、これを非依存の設定に拡張し、$Delta$乗法後悔のアルゴリズムを得る。 我々は,不愉快な,適応的な両敵に対して,サブ線形後悔境界を実現するランダム化アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-02-23T22:39:43Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• Autoregressive Bandits [58.46584210388307]
  本稿では,オンライン学習環境であるAutoregressive Banditsを提案する。 報酬プロセスの軽微な仮定の下では、最適ポリシーを便利に計算できることが示される。 次に、新しい楽観的後悔最小化アルゴリズム、すなわちAutoRegressive Upper Confidence Bound (AR-UCB)を考案し、$widetildemathcalO left( frac(k+1)3/2sqrtnT (1-G)のサブ線形後悔を被る。
  論文  参考訳（メタデータ） (2022-12-12T21:37:36Z)
• Risk-aware linear bandits with convex loss [0.0]
  提案手法は, 線形帯域幅の一般化に類似した, 最適リスク認識動作を学習するための楽観的 UCB アルゴリズムを提案する。 このアプローチではアルゴリズムの各ラウンドで凸問題を解く必要があり、オンライン勾配降下法によって得られる近似解のみを許すことで緩和することができる。
  論文  参考訳（メタデータ） (2022-09-15T09:09:53Z)
• Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
  マルコフ決定過程における純粋探索問題について検討する。 エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
  論文  参考訳（メタデータ） (2021-06-05T09:16:28Z)
• Continuous Mean-Covariance Bandits [39.820490484375156]
  本稿では,選択肢相関を考慮した連続平均共分散帯域モデルを提案する。 CMCBでは、与えられた選択肢の重みベクトルを逐次選択し、決定に従ってランダムなフィードバックを観察する学習者がいる。 最適な後悔(対数的因子を含む)を伴う新しいアルゴリズムを提案し、それらの最適性を検証するために一致した下界を提供する。
  論文  参考訳（メタデータ） (2021-02-24T06:37:05Z)
• Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret [115.85354306623368]
  本研究では,未知の遷移カーネルを持つマルコフ決定過程におけるリスク感応性強化学習について検討する。 確率的に効率的なモデルレスアルゴリズムとして、リスク感性価値反復(RSVI)とリスク感性Q-ラーニング(RSQ)を提案する。 RSVIが $tildeObig(lambda(|beta| H2) cdot sqrtH3 S2AT big) に達したことを証明しています。
  論文  参考訳（メタデータ） (2020-06-22T19:28:26Z)
• Debiased Off-Policy Evaluation for Recommendation Systems [8.63711086812655]
  A/Bテストは信頼できるが、時間と費用がかかり、失敗のリスクが伴う。 提案手法は,履歴データに対するアルゴリズムの性能を推定する手法である。 提案手法は,最先端手法よりも平均2乗誤差が小さい。
  論文  参考訳（メタデータ） (2020-02-20T02:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。