論文の概要: Theoretical Analysis on the Efficiency of Interleaved Comparisons
- arxiv url: http://arxiv.org/abs/2306.10023v1
- Date: Wed, 31 May 2023 03:04:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-02 13:53:38.842903
- Title: Theoretical Analysis on the Efficiency of Interleaved Comparisons
- Title（参考訳）: インターリーブ比較の効率に関する理論的解析
- Authors: Kojiro Iizuka, Hajime Morita, Makoto P. Kato
- Abstract要約: 本研究では,効率的なオンラインランキング評価手法であるインターリーブの効率に関する理論的解析を行った。
まず,従来のインターリーブ法と同様の簡単なインターリーブ法を設計することから始める。
本稿では, インターリービング法がA/Bテストよりも効率的である条件について検討し, 利用者が項目の関連性に応じてランキングを離れる場合について考察する。
- 参考スコア（独自算出の注目度）: 3.654658106140114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study presents a theoretical analysis on the efficiency of interleaving,
an efficient online evaluation method for rankings. Although interleaving has
already been applied to production systems, the source of its high efficiency
has not been clarified in the literature. Therefore, this study presents a
theoretical analysis on the efficiency of interleaving methods. We begin by
designing a simple interleaving method similar to ordinary interleaving
methods. Then, we explore a condition under which the interleaving method is
more efficient than A/B testing and find that this is the case when users leave
the ranking depending on the item's relevance, a typical assumption made in
click models. Finally, we perform experiments based on numerical analysis and
user simulation, demonstrating that the theoretical results are consistent with
the empirical results.
- Abstract（参考訳）: 本研究では,ランキングのオンライン評価手法であるインターリーブの効率に関する理論的分析を行った。
インターリーブはすでに生産システムに適用されているが、その高い効率の源は文献に明かされていない。
そこで本研究では,インターリーブ手法の効率に関する理論的解析を行う。
まず,従来のインターリーブ法と同様の簡単なインターリーブ法を設計する。
次に,a/bテストよりもインターリーブ手法が効率的である条件を検討し,クリックモデルにおける典型的な仮定であるアイテムの関連度に応じてユーザがランキングを離れる場合がこれであることを示す。
最後に,数値解析とユーザシミュレーションに基づく実験を行い,理論的結果が実験結果と一致していることを示す。
関連論文リスト
- Machine learning-based system reliability analysis with Gaussian Process Regression [1.0445957451908694]
このような探索を容易にするいくつかの定理を提案する。
候補設計サンプル間の相関を考慮・無視する事例については, 精巧に考察した。
我々は、Kriging相関を無視する場合に、よく知られたU学習関数を最適な学習関数に再構成できることを証明した。
論文 参考訳（メタデータ） (2024-03-17T07:17:07Z) - MFABA: A More Faithful and Accelerated Boundary-based Attribution Method
for Deep Neural Networks [69.28125286491502]
我々は,公理に固執する帰属アルゴリズムであるMFABAを紹介する。
結果は、最先端の属性アルゴリズムよりも101.5142倍高速に達成することで、その優位性を証明している。
論文 参考訳（メタデータ） (2023-12-21T07:48:15Z) - Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches [13.504353263032359]
仮定効果サイズ(AES)の選択は、実験の期間を決定的に決定し、その結果、その精度と効率が決定される。
伝統的に、実験者はドメイン知識に基づいてAESを決定するが、この方法は多数の実験を管理するオンライン実験サービスにとって実用的ではない。
オンライン実験サービスにおけるデータ駆動型AES選択のための2つのソリューションを提案する。
論文 参考訳（メタデータ） (2023-12-20T09:34:28Z) - Revisiting the Role of Similarity and Dissimilarity in Best Counter
Argument Retrieval [1.7607244667735586]
そこで我々は,類似度と相似度を指標として,解答を効率よく評価するモデルを構築した。
本稿では,BERTに基づく新しいモデルであるBipolar-encoderを提案する。
実験の結果,提案手法は49.04%の精度を達成できることがわかった。
論文 参考訳（メタデータ） (2023-04-18T08:13:48Z) - Building an Efficiency Pipeline: Commutativity and Cumulativeness of
Efficiency Operators for Transformers [68.55472265775514]
モデルに適用した演算子として効率性を考える。
本稿では,このアイデアの妥当性と,効率作用素の可換性と累積性について検討する。
論文 参考訳（メタデータ） (2022-07-31T18:01:06Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-14T18:18:02Z) - Learnability of Competitive Threshold Models [11.005966612053262]
理論的観点から,競合しきい値モデルの学習可能性について検討する。
ニューラルネットワークによって競合しきい値モデルをシームレスにシミュレートする方法を実証する。
論文 参考訳（メタデータ） (2022-05-08T01:11:51Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳（メタデータ） (2021-01-26T17:11:40Z) - Robust Imitation Learning from Noisy Demonstrations [81.67837507534001]
我々は,対称的損失を伴う分類リスクを最適化することにより,ロバストな模倣学習を実現することができることを示す。
擬似ラベルと協調学習を効果的に組み合わせた新しい模倣学習法を提案する。
連続制御ベンチマークによる実験結果から,本手法は最先端手法よりも頑健であることがわかった。
論文 参考訳（メタデータ） (2020-10-20T10:41:37Z) - Detangling robustness in high dimensions: composite versus
model-averaged estimation [11.658462692891355]
ロバスト法は、実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。
本稿では,これらの設定におけるロバスト性をさらに研究し,予測に焦点を当てたツールボックスを提供する。
論文 参考訳（メタデータ） (2020-06-12T20:40:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。