論文の概要: Measuring User Success in Randomized Search Experiments: Interpreting Good Abandonment in Generative AI Search

• arxiv url: http://arxiv.org/abs/2611.01582v1
• Date: Sun, 01 Nov 2026 05:06:04 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:46:47.693084
• Title: Measuring User Success in Randomized Search Experiments: Interpreting Good Abandonment in Generative AI Search
• Title（参考訳）: ランダムな検索実験におけるユーザ成功の測定:生成AI検索における良い放棄の解釈
• Abstract要約: オンライン制御実験のための人為的,解釈可能な結果指標であるセッション成功率(SSR)を提示する。 53.2%の放棄が成功し、6.5%のクリッククエリが失敗に終わった。
• 参考スコア（独自算出の注目度）: 6.644631290401215
• License:
• Abstract: Randomized search experiments increasingly evaluate experiences in which large language models answer information needs directly on the results page. Click status alone cannot identify success: a click may lead to an unsatisfactory result, while no click may indicate successful answer consumption, or "good abandonment." Prior research has shown that good abandonment is difficult to detect because dwell, scrolling, and reformulation are meaningful only in context. We present Session Success Rate (SSR), a human-grounded, interpretable outcome metric designed for online controlled experiments. Trained judges label complete session experiences using privacy-protected interaction evidence and video recordings; these offline labels train models scored online from query events, viewport behavior, result-page interactions, and semantic reformulations. Out-of-sample evaluation on 6,904 labeled queries yields 0.75 balanced accuracy overall and 0.68 within abandoned queries; session-level balanced accuracy is 0.68. The sample shows why interaction status is not an adequate outcome: 53.2% of abandonments were successful and 6.5% of clicked queries were unsuccessful. In a validation portfolio of seven ranking and five non-ranking experiments, SSR agreed with Sessions per User in seven cases, was inconclusive in four, and disagreed in one under a common p < 0.05 rule. Separately, across approximately 4,000 production experiments, SSR produced about 2.5 times the binary sensitivity of Sessions per User; in the studied workflow, this supported lower traffic allocations and greater experiment throughput under a fixed traffic budget.
• Abstract（参考訳）: ランダム化された検索実験は、より大きな言語モデルが情報に答える経験を、結果ページ上で直接評価する傾向にある。 クリックだけでは成功を識別できない: クリックは満足のいく結果につながる可能性があるが、クリックで回答の消費が成功する、あるいは「良い放棄」を示すことができる。 以前の研究では、居住、スクロール、改革が文脈でのみ意味を持つため、良い放棄を検出することは困難であることが示されている。 オンライン制御実験のために設計された人為的,解釈可能な結果指標であるセッション成功率(SSR)を提示する。 これらのオフラインラベルは、クエリイベント、ビューポートの振る舞い、結果ページのインタラクション、セマンティックなリフォームから得られたモデルをオンラインにトレーニングする。 6,904のラベル付きクエリのアウト・オブ・サンプル評価では、全体的なバランスの取れた正確さが0.75、放棄されたクエリが0.68、セッションレベルのバランスの取れた正確さが0.68となる。 53.2%の放棄が成功し、6.5%のクリッククエリが失敗に終わった。 7つのランキングと5つの非ランク実験の検証ポートフォリオにおいて、SSRは7つのケースでSessions per Userと合意し、4つのケースで不確定となり、共通のp < 0.05 ルールで1つで否決された。 第2に、約4,000のプロダクション実験で、SSRはSessions per Userの2.5倍のバイナリ感度を生成しました。

関連論文リスト

• Concerns in Benchmarking Jailbreaks: An Empirical Study of Attack Success Rates [2.2661625284195717]
  3つの評価手法を用いて3つのオープンウェイト言語モデルに対する8つの攻撃について検討した。 我々は、明確な成功の定義、一致した応答予算、検証された評価器、繰り返しの相互作用による累積的失敗の報告を推奨する。
  論文  参考訳（メタデータ） (2026-10-19T15:39:16Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• As It Was: Aligning LLM Search Evaluation with Historical User Preferences [10.704343230963877]
  本稿では,各検索ページを軽量かつ監査可能な動作前で拡張する行動接地型LCM判定手法を提案する。 Spotifyの楽曲検索評価では,行動判断による判断がユーザの好みと強く一致している。 5つの言語にまたがる多言語ヒューマン・ジャッジデータセットでは、グラウンド化により、人間関係判定との相関が15%増加する。
  論文  参考訳（メタデータ） (2026-07-01T15:05:10Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• Aligning to Illusions: Choice Blindness in Human and AI Feedback [2.912535004465788]
  人間の選択失明研究では、過度にスワップされた好みの91%が発見されず、選択失明は不慣れなテキストの第三者による評価比較にまで及ぶ。 検出は、真の自己監視ではなく、浅いテキストマッチングに依存している。 2つのアーキテクチャにわたる線量応答実験では、報奨信号が半減する前にラベルの6分の1から3分の1を破損させなければならない。 Best-of-N評価では、これは下流の政策劣化につながると確認されている。
  論文  参考訳（メタデータ） (2026-03-09T14:10:36Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• Stated Preference for Interaction and Continued Engagement (SPICE): Evaluating an LLM's Willingness to Re-engage in Conversation [0.0]
  Stated Preference for Interaction and Continued Engagement (SPICE)は、大規模言語モデルにYESまたはNO質問をすることで引き起こされる単純な診断信号である。 10-interactionstimul setによる3-tone(親しみやすい,不明瞭,嫌悪感)を用いた実験では,4つのフレーミング条件で4つのオープンウェイトチャットモデルを検証した。 友好的な相互作用は継続をほぼ一様に好んだ(97.5% YES)が、虐待的相互作用は断念を強く好んだ(17.9% YES)
  論文  参考訳（メタデータ） (2025-09-10T22:34:17Z)
• A Sample Efficient Conditional Independence Test in the Presence of Discretization [54.047334792855345]
  離散化されたデータに直接条件付き独立テスト(CI)は、誤った結論につながる可能性がある。 最近の進歩は、観測データをバイナライズすることで、潜伏変数間の適切なCI関係を推測することを目指している。 そこで本研究では,バイナライゼーションプロセスに依存しないサンプル効率のCIテストを提案する。
  論文  参考訳（メタデータ） (2025-06-10T12:41:26Z)
• Unbiased Learning to Rank with Query-Level Click Propensity Estimation: Beyond Pointwise Observation and Relevance [74.43264459255121]
  現実のシナリオでは、ユーザーは複数の関連するオプションを調べた後、1つまたは2つの結果だけをクリックします。 本稿では,ユーザが異なる検索結果リストをクリックする確率を捉えるために,クエリレベルのクリック確率モデルを提案する。 本手法では,2次元逆重み付け機構を導入し,相対飽和度と位置偏差に対処する。
  論文  参考訳（メタデータ） (2025-02-17T03:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。