論文の概要: Algorithm Adaptation Bias in Recommendation System Online Experiments

• arxiv url: http://arxiv.org/abs/2509.00199v1
• Date: Fri, 29 Aug 2025 19:23:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.122855
• Title: Algorithm Adaptation Bias in Recommendation System Online Experiments
• Title（参考訳）: 推薦システムのオンライン実験におけるアルゴリズム適応バイアス
• Authors: Chen Zheng, Zhenyu Zhao,
• Abstract要約: 探索されていないが重要なバイアスはアルゴリズム適応効果である。 結果は、小さなトラフィックでテストの亜種のパフォーマンスを過小評価しながら、大きなトラフィックでプロダクションの亜種を好むことが多い。 このバイアスのメカニズムを詳述し、実世界の実験から実証的な証拠を提示し、より堅牢なオンライン評価のための潜在的方法について議論する。
• 参考スコア（独自算出の注目度）: 4.8862630578310435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online experiments (A/B tests) are widely regarded as the gold standard for evaluating recommender system variants and guiding launch decisions. However, a variety of biases can distort the results of the experiment and mislead decision-making. An underexplored but critical bias is algorithm adaptation effect. This bias arises from the flywheel dynamics among production models, user data, and training pipelines: new models are evaluated on user data whose distributions are shaped by the incumbent system or tested only in a small treatment group. As a result, the measured effect of a new product change in modeling and user experience in this constrained experimental setting can diverge substantially from its true impact in full deployment. In practice, the experiment results often favor the production variant with large traffic while underestimating the performance of the test variant with small traffic, which leads to missing opportunities to launch a true winning arm or underestimating the impact. This paper aims to raise awareness of algorithm adaptation bias, situate it within the broader landscape of RecSys evaluation biases, and motivate discussion of solutions that span experiment design, measurement, and adjustment. We detail the mechanisms of this bias, present empirical evidence from real-world experiments, and discuss potential methods for a more robust online evaluation.
• Abstract（参考訳）: オンライン実験(A/Bテスト)は、推奨システムの変種を評価し、打ち上げ決定を導くための金の標準として広く見なされている。 しかし、様々なバイアスが実験の結果を歪め、意思決定を誤解させることがある。 探索されていないが重要なバイアスはアルゴリズム適応効果である。 このバイアスは、生産モデル、ユーザデータ、トレーニングパイプライン間のフライホイールのダイナミクスから生じる。 その結果、この制約された実験環境での新しい製品変更とユーザエクスペリエンスの測定効果は、フルデプロイメントにおける真の影響から大きく逸脱する可能性がある。 実際には、実験結果は、大きなトラフィックを持つプロダクションの亜種を好ましく、小さなトラフィックでテストの亜種のパフォーマンスを過小評価し、真の勝利の腕を発射する機会を欠いたり、影響を過小評価する機会を生じる。 本稿では、アルゴリズム適応バイアスの認識を高め、RecSys評価バイアスの広い視野に配置し、実験設計、測定、調整にまたがるソリューションに関する議論を動機付けることを目的とする。 このバイアスのメカニズムを詳述し、実世界の実験から実証的な証拠を提示し、より堅牢なオンライン評価のための潜在的方法について議論する。

関連論文リスト

• Practical Improvements of A/B Testing with Off-Policy Estimation [51.25970890274447]
  従来の手法よりも分散度を低くする非バイアスのオフ・ポリティクス推定器のファミリーを導入する。 提案手法の有効性と実用性を理論的に検証した。
  論文  参考訳（メタデータ） (2025-06-12T13:11:01Z)
• Post Launch Evaluation of Policies in a High-Dimensional Setting [4.710921988115686]
  A/Bテスト(A/B test)またはランダム化制御実験(RCTs)は、新しいポリシー、製品、決定の影響を評価するための金の標準である。 本稿では「合成制御」にインスパイアされた方法論の適用に関する実践的考察を考察する。 合成制御法は、影響を受けていない単位からのデータを利用して、処理された単位に対する対実的な結果を推定する。
  論文  参考訳（メタデータ） (2024-12-30T19:35:29Z)
• Adaptive Experimentation When You Can't Experiment [55.86593195947978]
  本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。 オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
  論文  参考訳（メタデータ） (2024-06-15T20:54:48Z)
• Be Aware of the Neighborhood Effect: Modeling Selection Bias under Interference [50.95521705711802]
  従来の研究では、予測モデルの偏りのない学習を実現するために、選択バイアスに対処することに注力してきた。 本稿では、因果推論の観点から、近隣効果を干渉問題として公式に定式化する。 本稿では,近隣効果の存在下で選択バイアスに対処できる新しい理想的損失を提案する。
  論文  参考訳（メタデータ） (2024-04-30T15:20:41Z)
• Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches [13.504353263032359]
  仮定効果サイズ(AES)の選択は、実験の期間を決定的に決定し、その結果、その精度と効率が決定される。 伝統的に、実験者はドメイン知識に基づいてAESを決定するが、この方法は多数の実験を管理するオンライン実験サービスにとって実用的ではない。 オンライン実験サービスにおけるデータ駆動型AES選択のための2つのソリューションを提案する。
  論文  参考訳（メタデータ） (2023-12-20T09:34:28Z)
• Adaptive Instrument Design for Indirect Experiments [48.815194906471405]
  RCTとは異なり、間接的な実験は条件付き機器変数を利用して治療効果を推定する。 本稿では,データ収集ポリシーを適応的に設計することで,間接実験におけるサンプル効率の向上に向けた最初のステップについて述べる。 我々の主な貢献は、影響関数を利用して最適なデータ収集ポリシーを探索する実用的な計算手順である。
  論文  参考訳（メタデータ） (2023-12-05T02:38:04Z)
• A Common Misassumption in Online Experiments with Machine Learning Models [1.52292571922932]
  変種は一般的にプールデータを使って学習するため、モデル干渉の欠如は保証できない、と我々は主張する。 実践者や研究文献に対する影響について論じる。
  論文  参考訳（メタデータ） (2023-04-21T11:36:44Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Fair Effect Attribution in Parallel Online Experiments [57.13281584606437]
  A/Bテストは、オンラインサービスで導入された変更の影響を確実に特定する目的で役立ちます。 オンラインプラットフォームでは,ユーザトラフィックをランダムに分割して多数の同時実験を行うのが一般的である。 異なるグループ間の完全なランダム化にもかかわらず、同時実験は互いに相互作用し、平均的な集団の結果に負の影響をもたらす。
  論文  参考訳（メタデータ） (2022-10-15T17:15:51Z)
• Demarcating Endogenous and Exogenous Opinion Dynamics: An Experimental Design Approach [27.975266406080152]
  本稿では,実験的な設計手法に基づく教師なし分類手法のスイートを設計する。 平均推定誤差の異なる測度を最小化するイベントのサブセットを選択することを目的としている。 我々の実験は、不衛生事象や衛生事象に対する予測性能の検証から、様々な大きさの最適なサブセットを選択する効果の検証まで多岐にわたる。
  論文  参考訳（メタデータ） (2021-02-11T11:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。