論文の概要: Experimentation Accelerator: Interpretable Insights and Creative Recommendations for A/B Testing with Content-Aware ranking

• arxiv url: http://arxiv.org/abs/2602.13852v1
• Date: Sat, 14 Feb 2026 19:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.513239
• Title: Experimentation Accelerator: Interpretable Insights and Creative Recommendations for A/B Testing with Content-Aware ranking
• Title（参考訳）: 実験加速器:コンテンツ対応ランキングを用いたA/Bテストのための解釈的洞察と創造的勧告
• Authors: Zhengmian Hu, Lei Shi, Ritwik Sinha, Justin Grover, David Arbour,
• Abstract要約: 我々は、どの変種をテストするかを優先順位付けするための統一された枠組みを提案し、(ii)勝者がなぜ勝つかを説明し、(iii)新しい、より強力な変種をターゲットとする機会を表面的に提示する。 これらのコンポーネントは、TextitExperimentation Acceleratorと呼ばれる実際のAdobe製品に組み込まれ、AIベースの洞察と顧客に実験を拡大する機会を提供する。
• 参考スコア（独自算出の注目度）: 28.316205612655228
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern online experimentation faces two bottlenecks: scarce traffic forces tough choices on which variants to test, and post-hoc insight extraction is manual, inconsistent, and often content-agnostic. Meanwhile, organizations underuse historical A/B results and rich content embeddings that could guide prioritization and creative iteration. We present a unified framework to (i) prioritize which variants to test, (ii) explain why winners win, and (iii) surface targeted opportunities for new, higher-potential variants. Leveraging treatment embeddings and historical outcomes, we train a CTR ranking model with fixed effects for contextual shifts that scores candidates while balancing value and content diversity. For better interpretability and understanding, we project treatments onto curated semantic marketing attributes and re-express the ranker in this space via a sign-consistent, sparse constrained Lasso, yielding per-attribute coefficients and signed contributions for visual explanations, top-k drivers, and natural-language insights. We then compute an opportunity index combining attribute importance (from the ranker) with under-expression in the current experiment to flag missing, high-impact attributes. Finally, LLMs translate ranked opportunities into concrete creative suggestions and estimate both learning and conversion potential, enabling faster, more informative, and more efficient test cycles. These components have been built into a real Adobe product, called \textit{Experimentation Accelerator}, to provide AI-based insights and opportunities to scale experimentation for customers. We provide an evaluation of the performance of the proposed framework on some real-world experiments by Adobe business customers that validate the high quality of the generation pipeline.
• Abstract（参考訳）: 現代のオンライン実験は2つのボトルネックに直面している。交通量が少ないため、どの変種をテストするかは厳しい選択を迫られ、ホット後の洞察抽出は手作業で、一貫性がなく、しばしばコンテンツに依存しない。 一方、組織は歴史的なA/B結果や、優先順位付けと創造的なイテレーションを導くようなリッチなコンテンツ埋め込みをアンダーユースしています。 私たちは統一されたフレームワークを提示します。 一 試験すべき変種を優先すること。 (二)勝者が勝つ理由を説明して 三) 新たな高能な変種に対する表面目標の機会。 治療の埋め込みと過去の成果を活用することで、価値とコンテンツの多様性のバランスを保ちながら候補をスコア付けするコンテキストシフトに対して一定の効果を持つCTRランキングモデルをトレーニングする。 より優れた解釈可能性と理解のために、我々は、キュレートされたセマンティックマーケティング属性に対する処理を計画し、サイン一貫性とスパース制約のあるLassoを通じてこの分野のランク付けを表現し、属性ごとの係数と、視覚的説明、トップクドライバ、自然言語の洞察に署名したコントリビューションを得る。 次に、(ランクから)属性の重要度と、現在の実験における過小評価とを組み合わせて、欠落した高インパクト属性をフラグする機会指数を計算する。 最後に、LLMはランク付けされた機会を具体的な創造的な提案に翻訳し、学習と変換の可能性の両方を推定し、より速く、より情報的で、より効率的なテストサイクルを可能にします。 これらのコンポーネントは、AIベースの洞察と顧客の実験をスケールする機会を提供するために、‘textit{Experimentation Accelerator}’と呼ばれる本物のAdobe製品に組み込まれている。 生成パイプラインの高品質性を検証したAdobeのビジネス顧客による実世界の実験において,提案したフレームワークの性能評価を行う。

関連論文リスト

• Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion [41.79586757544166]
  大規模言語モデル(LLM)は、少数ショット情報抽出(IE)において顕著な可能性を示す 従来の選択戦略は、しばしば、モデル誤認の重要な原因を見落としているため、情報的なガイダンスの提供に失敗する。 本稿では,イントロスペクティブ・混乱(introspective confusion)という原則に導かれる新しいアクティブ・プロンプト・フレームワークであるActive Prompting for Information extract(APIE)を紹介する。
  論文  参考訳（メタデータ） (2025-08-10T02:27:41Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• LOLA: LLM-Assisted Online Learning Algorithm for Content Experiments [2.2021543101231167]
  現代のメディア企業は、ユーザーにとって最も魅力的で魅力的なコンテンツを特定するために、自動化され効率的な方法を必要としている。 本稿ではまず,3つの純LLM手法を用いて,最もキャッチラインを識別する能力について検討する。 LLM-Assisted Online Learning Algorithm (LOLA) は,Large Language Models (LLM) と適応実験を統合し,コンテンツ配信を最適化する新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-03T07:56:58Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling [19.24454872492008]
  弱監督は、基礎的な真理ラベルなしでラベル付きデータセットを作成するための有望な代替手段を提供する。 本稿では,対話型弱監督のための最初のフレームワークを開発し,その手法が反復を提案し,ユーザフィードバックから学習する。 私たちの実験は、非常に競争力のあるテストセット性能を達成するモデルのトレーニングに少数のフィードバックが必要であることを示しています。
  論文  参考訳（メタデータ） (2020-12-11T00:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。