論文の概要: Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale

• arxiv url: http://arxiv.org/abs/2611.04515v1
• Date: Tue, 03 Nov 2026 08:41:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:37:08.252894
• Title: Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale
• Title（参考訳）: AIによる大規模A/B実験からの学習と落とし穴
• Abstract要約: A/Bテストは、提案された変更の効果を信頼できる再現可能な定量化を提供することによって、製品決定の基盤となる。 大規模言語モデル(LLM)の能力の成長は、実験の自動化に動機づけられている。 LLMは非決定論的であり、幻覚を起こす傾向があり、信頼実験システムと矛盾する性質が提供されなければならない。
• 参考スコア（独自算出の注目度）: 5.470267289112944
• License:
• Abstract: A/B testing underpins product decisions by providing trustworthy, reproducible quantification of proposed changes' effects. Growing large language model (LLM) capabilities have motivated efforts to automate experimentation workflows. Yet LLMs are nondeterministic and prone to hallucination, properties that conflict with the trust experimentation systems must provide. Experiments are also operationally messy: diagnosing anomalies, debugging configurations, and conducting bespoke follow-up analyses require flexible reasoning and manual effort. These tasks let agents accelerate experimentation without replacing its deterministic statistical foundations. We report lessons from building and operating such an agent. Our central finding is that this tension is resolved not by making the model deterministic, but by bounding where its nondeterminism can reach; the model selects and sequences procedures, while deterministic code computes every quantity it reports. Three consequences surprised us: withholding information from the model improved its answers, demand concentrated on mundane retrieval rather than the autonomous decisions we anticipated, and the agent's eagerness to help threatened statistical validity.
• Abstract（参考訳）: A/Bテストは、提案された変更の効果を信頼できる再現可能な定量化を提供することによって、製品決定の基盤となる。 大規模言語モデル(LLM)機能の拡大は、実験ワークフローの自動化を動機付けている。 しかし、LSMは非決定論的であり、幻覚を起こす傾向があり、信頼実験システムと矛盾する性質が提供されなければならない。 異常の診断、デバッギング設定、起動後の追跡分析の実行には柔軟な推論と手作業が必要である。 これらのタスクは、決定論的統計基盤を置き換えることなく、エージェントが実験を加速する。 このようなエージェントの構築と運用から教訓を報告する。 我々の中心的な発見は、この緊張はモデルを決定論的にするのではなく、その非決定性が到達可能な場所を境界にすることで解決される。 3つの結果が私たちを驚かせた: モデルからの情報の保持は回答を改善し、要求は予想した自律的な決定よりも日常的な検索に集中し、エージェントが統計的妥当性を脅かすのに役立てることである。

関連論文リスト

• LLM sequential decision making under uncertainty in biochemical domains [4.5018775756511635]
  5つの大言語モデル(LLM)を、7つのデータセットの統計ベースラインに対してベンチマークする。 決定的にテストされた構成は、ドメイン全体で平均的な統計ベースラインを上回っません。 コンテキスト内履歴の削除は探索を復元し、事前とデータは切り離さなければならないことを示す。
  論文  参考訳（メタデータ） (2026-09-27T00:49:09Z)
• An Experimental Design Approach to Evaluating Agentic AI's Autonomous Model Discovery [4.502708670326481]
  大規模言語モデル符号化エージェントは、ますますオープンなデータモデリングと分析を行うようになっている。 この発見過程を評価するための実験的な設計・分析フレームワークを提案する。 本研究は, 推理効果の優位な方向を特徴付けるために, 実用性に整合した正準分解法を開発した。
  論文  参考訳（メタデータ） (2026-07-07T15:43:22Z)
• CUPID: A Plug-in Framework for Joint Aleatoric and Epistemic Uncertainty Estimation with a Single Model [1.6855257501750571]
  CUPID (Comprehensive Uncertainty Plug-in estImation moDel) は、ベースモデルの変更や再訓練なしに、動脈とてんかんの不確実性を共同で推定する汎用モジュールである。 CUPIDは分類,回帰,アウト・オブ・ディストリビューション検出など,様々なタスクで評価される。 その結果、CUPIDは、不確実性の起源に関する階層的な洞察を提供しながら、一貫して競争性能を提供することがわかった。
  論文  参考訳（メタデータ） (2026-03-11T13:18:10Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation [9.950524371154394]
  本研究では、教師なしの方法で訓練し、テスト時にモデルの誤特定を確実に検出できる新しい誤特定尺度を提案する。 提案手法は,不審な出力をユーザに警告し,予測が信頼できない場合に警告を発し,モデル設計者がより良いシミュレータを探索する際の指針となることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:30:16Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。