論文の概要: Validation of massively-parallel adaptive testing using dynamic control matching

• arxiv url: http://arxiv.org/abs/2305.01334v1
• Date: Tue, 2 May 2023 11:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 14:35:15.742318
• Title: Validation of massively-parallel adaptive testing using dynamic control matching
• Title（参考訳）: 動的制御マッチングを用いた大規模並列適応テストの検証
• Authors: Schaun Wheeler
• Abstract要約: 現代のビジネスはしばしば同時に多数のA/B/nテストを実行し、多くのコンテンツバリエーションを同じメッセージにパッケージ化する。 本稿では, 連続試験適応条件下での各種試験の因果効果を解消する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A/B testing is a widely-used paradigm within marketing optimization because it promises identification of causal effects and because it is implemented out of the box in most messaging delivery software platforms. Modern businesses, however, often run many A/B/n tests at the same time and in parallel, and package many content variations into the same messages, not all of which are part of an explicit test. Whether as the result of many teams testing at the same time, or as part of a more sophisticated reinforcement learning (RL) approach that continuously adapts tests and test condition assignment based on previous results, dynamic parallel testing cannot be evaluated the same way traditional A/B tests are evaluated. This paper presents a method for disentangling the causal effects of the various tests under conditions of continuous test adaptation, using a matched-synthetic control group that adapts alongside the tests.
• Abstract（参考訳）: A/Bテストはマーケティング最適化において広く使われているパラダイムであり、因果関係の特定を約束し、ほとんどのメッセージング配信ソフトウェアプラットフォームですぐに実装されるためである。 しかし、現代のビジネスでは、しばしば同時に並行して多数のa/b/nテストを実行し、多くのコンテンツのバリエーションを同じメッセージにパッケージする。 多くのチームが同時にテストした結果、あるいは、以前の結果に基づいてテストとテスト条件の割り当てを継続的に適用するより洗練された強化学習(RL)アプローチの一部として、動的並列テストは従来のA/Bテストと同じように評価できない。 本稿では, 連続的なテスト適応条件下での各種試験の因果効果を, 一致した合成制御群を用いて解消する手法を提案する。

関連論文リスト

• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Deep anytime-valid hypothesis testing [29.273915933729057]
  非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。 テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。 合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
  論文  参考訳（メタデータ） (2023-10-30T09:46:19Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• Hybrid Intelligent Testing in Simulation-Based Verification [0.0]
  数百万のテストは、カバレッジの目標を達成するために必要かもしれない。 カバレッジ指向のテスト選択は、カバレッジフィードバックからバイアステストまで、最も効果的なテストへと学習する。 ノベルティ駆動検証は、以前の刺激とは異なる刺激を識別し、シミュレートすることを学ぶ。
  論文  参考訳（メタデータ） (2022-05-19T13:22:08Z)
• Comparative Study of Machine Learning Test Case Prioritization for Continuous Integration Testing [3.8073142980733]
  異なる機械学習モデルは、モデルトレーニングに使用するテスト履歴のサイズや、テストケースの実行に利用可能な時間予算に異なるパフォーマンスを持つことを示す。 この結果から,継続的統合テストにおけるテスト優先化のための機械学習アプローチは,最適性能を達成するために慎重に設定されるべきであることが示唆された。
  論文  参考訳（メタデータ） (2022-04-22T19:20:49Z)
• DeepOrder: Deep Learning for Test Case Prioritization in Continuous Integration Testing [6.767885381740952]
  この研究は、回帰機械学習に基づいて動作するディープラーニングベースのモデルであるDeepOrderを紹介している。 DeepOrderは、テスト実行の履歴記録に基づいて、以前のテストサイクルの任意の数からテストケースをランク付けする。 実験により, 深部ニューラルネットワークは, 単純な回帰モデルとして, 連続的な統合テストにおいて, テストケースの優先順位付けに効率的に利用できることを示した。
  論文  参考訳（メタデータ） (2021-10-14T15:10:38Z)
• Automated Performance Testing Based on Active Deep Learning [2.179313476241343]
  ブラックボックス性能試験のためのACTAと呼ばれる自動テスト生成手法を提案する。 ACTAはアクティブな学習に基づいており、テスト中のシステムのパフォーマンス特性を知るために、大量の履歴テストデータを必要としないことを意味します。 我々は,ベンチマークWebアプリケーション上でACTAを評価し,本手法がランダムテストに匹敵することを示す実験結果を得た。
  論文  参考訳（メタデータ） (2021-04-05T18:19:12Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。