論文の概要: Learning to Detect Shifts in Unstructured Data Streams via Monitoring-by-Betting

• arxiv url: http://arxiv.org/abs/2610.17399v1
• Date: Mon, 12 Oct 2026 21:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.454287
• Title: Learning to Detect Shifts in Unstructured Data Streams via Monitoring-by-Betting
• Title（参考訳）: モニタリング・バイ・ベッティングによる非構造化データストリームのシフト検出の学習
• Abstract要約: 生成AIシステムの継続的監視には、構造化されていないデータの分散シフトを検出する必要がある。 既存の監視方法は、通常、 *pre-specified* であるシフトを検出するために使用される不一致の指標を要求することによって、偽の警報を制御する。 我々は,組込みから学習するブラックボックスベクターから,LSMが提案する概念に基づく解釈可能なベクターまで,適応的なモニタリング戦略を開発する。
• 参考スコア（独自算出の注目度）: 10.216688930115284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous monitoring of generative AI systems requires detecting distribution shifts in the unstructured data they ingest and generate. Existing monitoring methods typically control false alarms by requiring the discrepancy measure used to detect shifts to be *pre-specified*. However, for unstructured data, pre-specification creates a sensitivity--breadth trade-off: a narrowly defined measure is sensitive to the anticipated shift but may miss unexpected changes, whereas a broadly defined measure may detect a wider range of shifts but with reduced sensitivity. Although adaptively hypothesizing the shift direction can overcome this limitation, such data-dependent adaptation generally invalidates conventional false-alarm guarantees. We reconcile adaptivity with statistical validity through testing-by-betting, reframing sequential changepoint detection as a betting game in which the bettor continually updates its hypothesized shift direction, or witness function, as new observations arrive. We introduce *asymptotic e-detectors*, which approximate the pre-change distribution using a calibration set of size $m$, and prove that they asymptotically control the average run length to a false alarm as $m$ increases. Empirically, calibration sets as small as $m=30$ provide effective control. We then develop adaptive monitoring strategies ranging from black-box bettors that learn from embeddings to interpretable bettors based on LLM-proposed concepts. Across three real-world datasets, including data from a clinical AI scribe deployment, adaptive monitors detect shifts faster than fixed monitors at the same false-alarm level. Further, when the true shifts are sparse and interpretable, LLM-concept monitors provide the fastest and most interpretable detection, while also guiding root-cause diagnosis for complex shifts.
• Abstract（参考訳）: 生成AIシステムの継続的監視には、それらが取り込み、生成する非構造化データの分散シフトを検出する必要がある。 既存の監視方法は、通常、 *pre-specified* であるシフトを検出するために使用される不一致の指標を要求することによって、偽の警報を制御する。 しかし、構造化されていないデータに対して、事前特定は感度-ブレッドストレードオフを生成する:狭く定義された尺度は予想されるシフトに敏感であるが、予期しない変化を見逃す可能性があるが、広く定義された尺度はより広い範囲のシフトを検知するが、感度は低下する。 シフト方向を適応的に仮定することはこの制限を克服することができるが、そのようなデータ依存適応は一般的に従来の偽警報保証を無効にする。 そこで我々は, ベクターが仮説シフト方向, あるいは目撃機能を継続的に更新する賭けゲームとして, 検証バイベッティングにより適応度を統計的妥当性と照合し, 逐次変化点検出をフレーミングする。 asymptotic e-detectors*を導入し、$m$のキャリブレーションセットを用いて事前変更分布を近似し、m$が増加するにつれて平均ラン長を偽アラームに漸近的に制御できることを証明する。 経験的に、キャリブレーションセットは$m=30$と小さく、効果的な制御を提供する。 次に,組込みから学習するブラックボックスベクターから,LLMが提案する概念に基づく解釈可能なベクターまで,適応的なモニタリング戦略を開発する。 臨床AI登録デプロイメントのデータを含む3つの現実世界のデータセットにわたって、アダプティブモニターは、同じ偽アラームレベルで固定されたモニターよりも高速なシフトを検出する。 さらに、真のシフトがスパースで解釈可能な場合、LCMコンセプトモニターは、複雑なシフトの根本原因診断を導くとともに、最も速く最も解釈可能な検出を提供する。

関連論文リスト

• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Fault detection and diagnosis for the engine electrical system of a space launcher based on a temporal convolutional autoencoder and calibrated classifiers [0.0]
  本稿では,次世代再利用可能な宇宙ランチャーの故障検出・診断機能開発に向けた第一歩を概説する。 文献における既存のアプローチとは異なり、我々のソリューションはより広い範囲の重要な要件を満たすように設計されています。 提案手法は、時間畳み込みオートエンコーダに基づいて、原センサデータから低次元特徴を自動的に抽出する。
  論文  参考訳（メタデータ） (2025-07-17T11:50:29Z)
• WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales [22.789611187514975]
  非パラメトリックシーケンシャルテストのメソッド -- 特にコンフォーマルテストマーチンチャル(CTM)と任意の時間価推論 -- は、この監視タスクに有望なツールを提供する。 既存のアプローチは、限られた仮説クラスやアラーム基準の監視に限られています。」
  論文  参考訳（メタデータ） (2025-05-07T17:53:47Z)
• Online Distribution Shift Detection via Recency Prediction [43.84609690251748]
  偽陽性率を保証した分布変化をオンラインで検出する手法を提案する。 我々のシステムは(確率$epsilon$で)分布シフトがない場合、誤った警告を発行する可能性は極めて低い。 従来の作業に比べて、現実的なロボティクス設定の最大11倍高速な検出を経験的に達成している。
  論文  参考訳（メタデータ） (2022-11-17T22:29:58Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Bandit Quickest Changepoint Detection [55.855465482260165]
  すべてのセンサの継続的な監視は、リソースの制約のためにコストがかかる可能性がある。 有限パラメータ化確率分布の一般クラスに対する検出遅延に基づく情報理論の下界を導出する。 本稿では,異なる検知オプションの探索と質問行動の活用をシームレスに両立させる,計算効率のよいオンラインセンシング手法を提案する。
  論文  参考訳（メタデータ） (2021-07-22T07:25:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。