論文の概要: From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI
- arxiv url: http://arxiv.org/abs/2609.25408v1
- Date: Mon, 21 Sep 2026 21:06:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.116459
- Title: From Offline Proxies to Online Decisions: A Layered Engagement Evaluation Framework for Conversational AI
- Title（参考訳）: オフラインプロキシからオンライン決定へ:会話型AIのための階層化エンゲージメント評価フレームワーク
- Abstract要約: A/B試験はユーザエンゲージメントの決定基準だが、トラフィックと読み込み時間はテスト可能な変更数を制限する。
オフラインプロキシを3つのアライメントの連鎖として扱う再利用可能な構成と診断チェックリストを提案する。
コンパニオン評価プロトコルは、インターバルアウェア決定合意により、合成体全体を監査する。
- 参考スコア（独自算出の注目度）: 6.312363514862888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online A/B experiments are the decision standard for user engagement, but traffic and readout time limit how many conversational-AI changes can be tested. We ask whether an offline signal designed to be computable without treatment-arm user exposure agrees with the outcomes of those experiments. We contribute a reusable construction and diagnosis checklist that treats an offline proxy as a chain of three alignments: behavioral label to product outcome, learned classifier to candidate-assistant behavior, and aggregated offline signal to experiment effect. A companion evaluation protocol audits the whole composite by interval-aware decision agreement, which compares offline and online confidence intervals instead of point estimates, and by within-experiment ranking. The instantiation we evaluate comprises a fixed evaluation suite on which candidate behavior is scored, an engagement classifier trained to predict session/prompt level engagements, and a calibration layer mapping sample-level score differences to online model-level engagement deltas. We then report the audit: 489 paired offline-online contrasts (one candidate arm against its control) from 27 experiments on a deployed multi-turn assistant, spanning model checkpoints to system-prompt tuning. Our primary test uses the 113 contrasts from eight experiments that ran after the map was frozen: on these the composite reaches 81.1% F1, against 34.3% for the raw classifier score it is built on, and makes no wrong-direction calls where that raw score makes 31. Every offline prediction was computed before its experiment ran to prevent overfitting. The evidence supports using the composite to prioritize candidates before scarce experiment traffic is allocated---in our deployment of the experiment, selecting among training checkpoints and tuning system prompts.
- Abstract（参考訳）: オンラインA/B実験はユーザエンゲージメントの決定基準だが、トラフィックと読み出し時間は、対話型AIの変更数を制限する。
治療用アームを使わずに計算可能なオフライン信号が実験結果と一致しているかどうかを問う。
我々は、オフラインプロキシを製品結果への行動ラベル、学習された分類器、候補支援行動、実験効果のためのオフライン信号の集約の3つのアライメントの連鎖として扱う再利用可能な構築および診断チェックリストに貢献する。
コンパニオン評価プロトコルは、ポイント推定ではなくオフラインとオンラインの信頼区間を比較し、実験内ランキングで、インターバル認識決定合意により、合成全体を監査する。
評価したインスタンス化は、候補行動が評価される固定評価スイートと、セッション/プロンプトレベルのエンゲージメントを予測するように訓練されたエンゲージメント分類器と、オンラインモデルレベルのエンゲージメントデルタにサンプルレベルスコアの差をマッピングするキャリブレーション層とを含む。
489対のオフラインオンラインコントラスト(1つの候補アームがコントロールに反する)を、デプロイされたマルチターンアシスタント上で27の実験から、モデルチェックポイントからシステムプロンプトチューニングまで、レポートします。
私たちの最初のテストでは、地図が凍結された後に実行された8つの実験と113のコントラストを使用しており、これらは81.1% F1に到達し、生分類器のスコアは34.3%に達した。
すべてのオフライン予測は、オーバーフィッティングを防ぐために実験が行われる前に計算された。
このエビデンスは、試験トラフィックが不足する前に、候補を優先順位付けするためにコンポジットを使用することを支持します。
関連論文リスト
- From Experiments to Decisions: Reusing Evidence in Autonomous Coding Research [0.0]
我々は400タスクのNeuroGolfキャンペーンでエビデンスをどのように再利用するかを再構築する。
数値的な反例は、オーバーブロード排除を公開する。
他のエピソードでは、失敗、不完全、そして修正されたプログラムが次に行うことを正当化する。
論文 参考訳（メタデータ） (2026-09-10T03:48:31Z) - Auditing and Decomposing Feedback-Driven Evolution in LLM Test Generation under the Oracle Problem [14.44743150931186]
無効または不特定な入力は、急激な障害検出と明らかな進化的利益を生み出す。
我々は、142の開発タスク、114のロックされた外部タスク、128のホールドアウトタスクを使用して、フィードバック駆動のテスト生成において、この障害モードを監査する。
自己進化型テストジェネレータの評価において,検証対象のアーティファクト,インタラクションの足場,グラウンドドフィードバックを分離するオーディエンス・アンド・プレースボプロトコルを提案する。
論文 参考訳（メタデータ） (2026-08-20T04:29:35Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。
決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。
NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
論文 参考訳（メタデータ） (2026-03-29T18:52:01Z) - Aligning to Illusions: Choice Blindness in Human and AI Feedback [2.912535004465788]
人間の選択失明研究では、過度にスワップされた好みの91%が発見されず、選択失明は不慣れなテキストの第三者による評価比較にまで及ぶ。
検出は、真の自己監視ではなく、浅いテキストマッチングに依存している。
2つのアーキテクチャにわたる線量応答実験では、報奨信号が半減する前にラベルの6分の1から3分の1を破損させなければならない。
Best-of-N評価では、これは下流の政策劣化につながると確認されている。
論文 参考訳（メタデータ） (2026-03-09T14:10:36Z) - Vibe Code Bench: Evaluating AI Models on End-to-End Web Application Development [6.072381417546439]
既存のベンチマークは、スクラッチから動くアプリケーションを構築するための完全な"ゼロ・ツー・ワン"プロセスではなく、独立したタスクを計測します。
Vibe Code Benchは、ブラウザベースのサブステップが964である100のWebアプリケーション仕様のベンチマークである。
提案するコントリビューションには,(1)エンドツーエンドWebアプリケーション開発のための新しいベンチマークデータセットとブラウザベースの評価パイプライン,(2)コスト,レイテンシ,エラー解析を備えた16のフロンティアモデルの包括的評価,(3)クロスモデルとヒューマンアノテーションの両方による評価器アライメントプロトコルなどが含まれている。
論文 参考訳（メタデータ） (2026-03-04T21:00:33Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Transferable and Efficient Non-Factual Content Detection via Probe Training with Offline Consistency Checking [48.68044413117397]
PINOSEは、オフラインの自己整合性検査結果に基づいて探索モデルをトレーニングし、人間の注釈付きデータの必要性を回避する。
応答復号に先立って内部状態の様々な側面を調べ、事実的不正確な検出に寄与する。
論文 参考訳（メタデータ） (2024-04-10T05:00:35Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。