論文の概要: Accountable and uncertainty-aware evaluation of sensor-based AI under distribution shift: devices, subjects, and nearly three years underground

• arxiv url: http://arxiv.org/abs/2609.09257v1
• Date: Tue, 08 Sep 2026 15:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.74773
• Title: Accountable and uncertainty-aware evaluation of sensor-based AI under distribution shift: devices, subjects, and nearly three years underground
• Title（参考訳）: 分散シフト下におけるセンサベースAIのアカウンタブル・不確実性評価--デバイス,被験者,地下3年近く
• Abstract要約: センサーベースのAIシステムは、訓練された条件下ではめったに運用されない。 本稿では,デプロイされたモデルの評価を計測として扱う段階的,説明可能な評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sensor-based AI systems are rarely operated under the conditions under which they were trained: devices, personnel and recording epochs change, and each change degrades performance in ways a random train-test split cannot reveal. We propose a staged, accountable evaluation protocol that treats the evaluation of a deployed model as a measurement with declared reference levels and a quantified uncertainty. Four cumulative generalisation stages hold out devices, subjects and time. Each stage is judged on quantiles of repeated trainings against chance references with the correct class count, an out-of-present-scope rate exposes silent misdirection towards classes that are no longer present in deployment relative to training, and an explicit decision rule ties roll-out decisions not to means but to 5% quantiles. We demonstrate the protocol on infrastructure-free geomagnetic localisation with smartphone-based recurrent classifiers in two real underground mines, including a replication of the scheme's training stages at the second site. Unchanged models are re-evaluated on data recorded 34 months after the training campaign, on a device generation unknown at training time and with a held-out surveyor. The 5% quantile of their present-conditioned precision there is 0.39 over 299 repeated trainings, 16.5 times the chance level; across the composition of the 42 reachable location classes the figure varies by +/-0.08, several times the spread between repeated runs. Repeated trainings of a single configuration show why means mislead: a bimodal configuration passes a mean-based test decisively while its 5% quantile lies more than an order of magnitude below chance.
• Abstract（参考訳）: デバイス、人員、記録のエポックが変化し、各変更はランダムな列車とテストの分割が明らかにできない方法でパフォーマンスが低下する。 本稿では,デプロイされたモデルの評価を基準レベルと定量化の不確実性の測定値として扱う段階的,説明可能な評価プロトコルを提案する。 4つの累積的な一般化段階は、装置、主題、時間を保持する。 それぞれのステージは、正しいクラスカウントによるチャンス参照に対する繰り返しトレーニングの定量化に基づいて判断され、現在のスコープ外のレートは、トレーニングに対してもはやデプロイに存在しないクラスに対する沈黙的なミスダイレクトを露呈し、明示的な決定ルールは、意味ではなく、5%の量子化をロールアウト決定に結び付ける。 本研究では,2つの地下鉱山において,スマートフォンをベースとした再帰型分類器を用いたインフラストラクチャフリーな地磁気ローカライゼーションのプロトコルを実証する。 変更されていないモデルは、トレーニングキャンペーンの34ヶ月後に記録されたデータ、トレーニング時に未知のデバイス生成、および保持された調査者に基づいて再評価される。 現在の条件付き精度の5%の量子化は299回の繰り返し訓練で0.39であり、チャンスの16.5倍である。 バイモーダルな構成は平均ベースのテストに決定的に合格し、その5%の量子は確率より1桁も低い。

関連論文リスト

• Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty [0.0]
  我々は,1日ごとの確率予測フレームワークを開発した。 モジュラー・ポストホック残量学習スキームとインモデル量子学習スキームを比較した。 この結果から, 再構成された入力に依存する場合の残差量子化の限界が明らかとなった。
  論文  参考訳（メタデータ） (2026-07-14T13:02:18Z)
• A Quantitative Experimental Repeated Measures Study of Training Dynamics in a Small Llama Style Language Model Under a Compute-Aware Token Budget [0.0]
  本研究では,計算制約付きトークン予算の下で学習したLlama型小言語モデルの学習力学について検討した。 TinyStories corpus、CPUベースのフル精度トレーニング、目標予算約2000万の累積トレーニングトークンを使用して、6つの独立したトレーニング実行が実施された。 ANOVAは, 検証損失, 検証難易度, 転がりボラティリティに対して, 統計的に有意な間隔効果を示した。
  論文  参考訳（メタデータ） (2026-06-11T13:55:26Z)
• Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition [53.005382593686356]
  エンゲージメント認識データセットは典型的には主観的インデクシングであり、しばしば騒々しく主観的な監督を含んでいる。 本研究では、この設定を、エンゲージメント認識のためのポストホック衛生機構として、主観レベルマシンアンラーニングを通して研究する。
  論文  参考訳（メタデータ） (2026-05-06T10:03:06Z)
• Class-Distribution Guided Active Learning for 3D Occupancy Prediction in Autonomous Driving [18.74482609280131]
  本稿では,自律運転データセットにアノテートするトレーニングサンプルを選択するための,クラス配布指導型アクティブラーニングフレームワークを提案する。 我々のフレームワークは26.62 mIoUに達し、同じ予算で完全な監視と優れたアクティブラーニングベースラインに匹敵する。
  論文  参考訳（メタデータ） (2026-03-28T14:56:15Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Improving novelty detection with generative adversarial networks on hand gesture data [1.3750624267664153]
  本稿では,GAN(Generative Adversarial Network)フレームワークで訓練されたニューラルネットワーク(ANN)を用いた語彙外ジェスチャの分類方法を提案する。 生成モデルは、新しいサンプルとターゲットベクトルでオンライン形式でデータセットを拡大し、識別モデルはサンプルのクラスを決定する。
  論文  参考訳（メタデータ） (2023-04-13T17:50:15Z)
• Gaussian Switch Sampling: A Second Order Approach to Active Learning [11.775252660867285]
  能動的学習において、取得関数は、モデル多様体内の表現位置に直接情報性を定義する。 本稿では,アクティブラーニングの文脈における情報内容とサンプルの重要性の2次定義を提案する。 我々は,モデル表現が訓練データの欠如によって制約されている場合でも,その定義が極めて正確な重要度スコアを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-16T15:24:56Z)
• VL4Pose: Active Learning Through Out-Of-Distribution Detection For Pose Estimation [79.50280069412847]
  VL4Poseは、分布外検出によるアクティブな学習のための第一原理的アプローチである。 我々の解は、最大推定により訓練された単純なパラメトリックベイズネットワークを介してポーズをモデル化することを含む。 我々はMPII, LSP, ICVLの3つのデータセットに対して定性的かつ定量的な実験を行い, 人手ポーズ推定を行った。
  論文  参考訳（メタデータ） (2022-10-12T09:03:55Z)
• Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
  深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。 本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T06:51:55Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。