論文の概要: When Online Algorithms Influence the Environment: A Dynamical Systems Analysis of the Unintended Consequences

• arxiv url: http://arxiv.org/abs/2411.13883v1
• Date: Thu, 21 Nov 2024 06:47:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:20:51.152573
• Title: When Online Algorithms Influence the Environment: A Dynamical Systems Analysis of the Unintended Consequences
• Title（参考訳）: オンラインアルゴリズムが環境に与える影響:意図しない結果の動的システム解析
• Authors: Prabhat Lankireddy, Jayakrishnan Nair, D Manjunath,
• Abstract要約: オンラインアルゴリズムが学習環境に与える影響を分析する。 提案アルゴリズムは,このミスマッチの存在下で個体群の嗜好を学習できる場合,利用者の嗜好に類似性をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 5.4209739979186295
• License:
• Abstract: We analyze the effect that online algorithms have on the environment that they are learning. As a motivation, consider recommendation systems that use online algorithms to learn optimal product recommendations based on user and product attributes. It is well known that the sequence of recommendations affects user preferences. However, typical learning algorithms treat the user attributes as static and disregard the impact of their recommendations on user preferences. Our interest is to analyze the effect of this mismatch between the model assumption of a static environment, and the reality of an evolving environment affected by the recommendations. To perform this analysis, we first introduce a model for a generic coupled evolution of the parameters that are being learned, and the environment that is affected by it. We then frame a linear bandit recommendation system (RS) into this generic model where the users are characterized by a state variable that evolves based on the sequence of recommendations. The learning algorithm of the RS does not explicitly account for this evolution and assumes that the users are static. A dynamical system model that captures the coupled evolution of the population state and the learning algorithm is described, and its equilibrium behavior is analyzed. We show that when the recommendation algorithm is able to learn the population preferences in the presence of this mismatch, the algorithm induces similarity in the preferences of the user population. In particular, we present results on how different properties of the recommendation algorithm, namely the user attribute space and the exploration-exploitation tradeoff, effect the population preferences when they are learned by the algorithm. We demonstrate these results using model simulations.
• Abstract（参考訳）: オンラインアルゴリズムが学習環境に与える影響を分析する。 モチベーションとして、ユーザ属性と製品属性に基づいて最適な製品レコメンデーションを学習するためにオンラインアルゴリズムを使用するレコメンデーションシステムを考える。 推薦の順序がユーザの好みに影響を与えることはよく知られている。 しかし、一般的な学習アルゴリズムは、ユーザの属性を静的として扱い、ユーザの好みに対する推奨の影響を無視する。 我々の関心は、静的環境のモデル仮定と、推奨によって影響を受ける進化する環境の現実とのミスマッチの効果を分析することである。 この分析を行うために、まず、学習されているパラメータとそれに影響を受ける環境の総合的結合進化モデルを導入する。 次に,リニアバンディットレコメンデーションシステム(RS)をこのジェネリックモデルに組み込み,レコメンデーションのシーケンスに基づいて進化する状態変数を特徴付ける。 RSの学習アルゴリズムは、この進化を明示的に説明せず、ユーザが静的であると仮定する。 集団状態と学習アルゴリズムの結合進化を捉える力学系モデルについて述べ,その平衡挙動を解析した。 提案アルゴリズムは,このミスマッチの存在下で個体群の嗜好を学習できる場合,利用者の嗜好に類似性をもたらすことを示す。 特に,提案アルゴリズムの特性,すなわち,ユーザ属性空間と探索・探索トレードオフが,アルゴリズムが学習した場合の個体群選好にどのように影響するかを示す。 モデルシミュレーションを用いてこれらの結果を実証する。

関連論文リスト

• Quantifying User Coherence: A Unified Framework for Cross-Domain Recommendation Analysis [69.37718774071793]
  本稿では,レコメンデーションシステムを理解するための新しい情報理論手法を提案する。 9つのデータセットで7つのレコメンデーションアルゴリズムを評価し、測定値と標準的なパフォーマンス指標の関係を明らかにする。
  論文  参考訳（メタデータ） (2024-10-03T13:02:07Z)
• Algorithmic Drift: A Simulation Framework to Study the Effects of Recommender Systems on User Preferences [7.552217586057245]
  本稿では,長期シナリオにおけるユーザ-リコメンダ間のインタラクションを模倣するシミュレーションフレームワークを提案する。 本稿では,ユーザの嗜好に対するアルゴリズムの影響を定量化する2つの新しい指標について紹介する。
  論文  参考訳（メタデータ） (2024-09-24T21:54:22Z)
• Measuring Strategization in Recommendation: Users Adapt Their Behavior to Shape Future Content [66.71102704873185]
  実験と調査を行うことで,ユーザストラテジゼーションの試行を行う。 参加者の居住時間や「いいね!」の使用など,結果指標間での戦略化の強い証拠を見出す。 この結果から,プラットフォームはアルゴリズムがユーザの行動に与える影響を無視できないことが示唆された。
  論文  参考訳（メタデータ） (2024-05-09T07:36:08Z)
• AdaRec: Adaptive Sequential Recommendation for Reinforcing Long-term User Engagement [25.18963930580529]
  本稿では,AdaRec(Adaptive Sequential Recommendation)と呼ばれる新しいパラダイムを紹介し,この問題に対処する。 AdaRecは、ユーザのインタラクション軌跡から潜時情報を抽出する、新しい距離ベース表現損失を提案する。 シミュレーションベースとライブシーケンシャルなレコメンデーションタスクの両方において、広範な実証分析を行う。
  論文  参考訳（メタデータ） (2023-10-06T02:45:21Z)
• Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
  逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。 しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。 したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
  論文  参考訳（メタデータ） (2022-11-17T19:00:24Z)
• Modeling Dynamic User Preference via Dictionary Learning for Sequential Recommendation [133.8758914874593]
  ユーザの好みのダイナミックさを捉えることは、ユーザの将来の行動を予測する上で非常に重要です。 浅いものも深いものも含む、既存のレコメンデーションアルゴリズムの多くは、このようなダイナミクスを独立してモデル化することが多い。 本稿では、ユーザのシーケンシャルな振る舞いを、ユーザ好みの潜伏した空間に埋め込むことの問題について考察する。
  論文  参考訳（メタデータ） (2022-04-02T03:23:46Z)
• Emergent Instabilities in Algorithmic Feedback Loops [3.4711828357576855]
  教師-学生の学習シミュレーションを用いて,推薦アルゴリズムにおけるアルゴリズムの相違について検討する。 結果は、人とアルゴリズム間の相互作用から創発的な行動を説明する必要性を強調している。
  論文  参考訳（メタデータ） (2022-01-18T18:58:03Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Reinforcement Learning Beyond Expectation [11.428014000851535]
  累積予測理論 (cumulative prospect theory, cpt) は、人間が利益と損失を異なる視点で見る傾向をモデル化することが実証的に示されているパラダイムである。 本稿では,自律エージェントが未知の環境で行動を学ぶ必要がある環境について考察する。 エージェントに人間のユーザーの行動を密接に模倣する能力を与えるために、我々はCPTベースのコストを最適化する。
  論文  参考訳（メタデータ） (2021-03-29T20:35:25Z)
• Learning User Preferences in Non-Stationary Environments [42.785926822853746]
  オンラインノンステーショナリーレコメンデーションシステムのための新しいモデルを紹介します。 好みが変化しない場合でも,我々のアルゴリズムが他の静的アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-29T10:26:16Z)
• Do Offline Metrics Predict Online Performance in Recommender Systems? [79.48653445643865]
  6つのシミュレーション環境におけるレコメンデータの評価により,オフラインメトリクスがオンラインのパフォーマンスを予測する程度について検討した。 オフラインメトリクスは、様々な環境におけるオンラインのパフォーマンスと相関している。 本研究は,探索戦略の追加による影響について検討し,その有効性はレコメンデーションアルゴリズムに大きく依存していることを示す。
  論文  参考訳（メタデータ） (2020-11-07T01:41:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。