論文の概要: RiskBlend: A Multi-Signal Framework for Test Input Prioritization in Machine Learning Regression Testing

• arxiv url: http://arxiv.org/abs/2608.27704v1
• Date: Thu, 27 Aug 2026 20:40:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.147591
• Title: RiskBlend: A Multi-Signal Framework for Test Input Prioritization in Machine Learning Regression Testing
• Title（参考訳）: RiskBlend: マシンラーニング回帰テストにおけるテスト入力優先化のためのマルチ署名フレームワーク
• Abstract要約: 機械学習分類器が再訓練されると、前のモデルバージョンによって正しく分類された入力は、更新されたバージョンによって誤って分類される。 テスト入力優先順位付けは、限られた検証予算が可能な限り多くの回帰欠陥を明らかにするように、入力をランク付けすることでこの問題に対処する。 本稿では,4つの相補的リスク信号を組み合わせた分類器に依存しない優先順位付けフレームワークであるR RiskBlendを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When machine learning classifiers are retrained, inputs correctly classified by the previous model version may be misclassified by the updated version, creating regression faults that are costly to detect because verifying predictions against ground truth may require human annotation, expert review, or expensive simulation rather than inexpensive model inference. Test input prioritization addresses this problem by ranking inputs so that a limited verification budget reveals as many regression faults as possible. Existing approaches rely predominantly on single-model confidence scores and do not exploit how predictions, decision boundaries, and local neighborhoods change between model versions. We propose RiskBlend, a classifier-agnostic prioritization framework that combines four complementary risk signals: historical failure patterns, prediction shift, decision-boundary shift, and neighborhood change. These signals are combined using validation-learned APFD-squared weighting. Across four datasets, five classifiers, four regression-update scenarios, and 15 random seeds, totaling 1,200 experimental configurations, RiskBlend achieves the highest average APFD in all 80 dataset-classifier-scenario combinations, with improvements of up to 0.32 APFD over the strongest baseline. Confidence-based methods remain competitive primarily for linear classifiers on sparse categorical features, which we attribute to feature-space geometry. The results show that cross-version behavioral signals provide important complementary information for prioritizing regression faults in machine learning systems.
• Abstract（参考訳）: 機械学習分類器が再訓練されると、以前のモデルバージョンで正しく分類された入力は、更新されたバージョンによって誤って分類される可能性がある。 テスト入力優先順位付けは、限られた検証予算が可能な限り多くの回帰欠陥を明らかにするように、入力をランク付けすることでこの問題に対処する。 既存のアプローチは、単一モデルの信頼性スコアに大きく依存しており、モデルバージョン間での予測、決定境界、および局所的な近傍の変化を利用できない。 本稿では、過去の故障パターン、予測シフト、意思決定境界シフト、近隣変化の4つの相補的なリスク信号を組み合わせた分類器に依存しない優先順位付けフレームワークであるR RiskBlendを提案する。 これらの信号は検証学習によるAPFD二乗重み付けによって合成される。 データセット4つ、分類器5つ、回帰更新シナリオ4つ、ランダムシード15つ、合計1200の実験的な構成、RassBlendは、80のデータセット-分類器-シナリオの組み合わせで平均APFDを達成し、最強のベースラインに対して最大0.32APFDの改善を達成している。 信頼に基づく手法は、主に、特徴空間幾何学によるスパース分類上の線形分類器(英語版)に対して競合するままである。 その結果, クロスバージョン動作信号は, 機械学習システムにおける回帰障害の優先順位付けに重要な相補的情報を提供することがわかった。

関連論文リスト

• DANCE: Doubly Adaptive Neighborhood Conformal Estimation [12.643121779828526]
  本稿では,2つの新しい非整合性スコアをデータ埋め込み表現から直接組み合わせた,局所的に近似した近接近傍型コンフォメーションアルゴリズムを提案する。 我々は最先端のローカル、タスク適応、ゼロショットのコンフォメーションベースラインに対してテストを行い、DANCEが様々なデータセットにまたがるセットサイズ効率とロバスト性を比較検討した。
  論文  参考訳（メタデータ） (2026-02-24T07:54:53Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
  本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。 我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。 本研究は,複数の不完全なモデルから得られた知識を,難易度の高い新しいシナリオにおいて堅牢に統合するための効果的なメカニズムとして,一貫性に基づく誘拐の有効性を検証するものである。
  論文  参考訳（メタデータ） (2025-05-25T23:17:47Z)
• Generative Regression Based Watch Time Prediction for Short-Video Recommendation [36.95095097454143]
  短いビデオレコメンデーションシステムでは、時計の時間予測が重要なタスクとして現れている。 最近の研究は、連続時計時間推定を正規回帰タスクに変換することによって、これらの問題に対処しようとしている。 本稿では,WTPをシーケンス生成タスクとして再構成する新しい生成回帰(GR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-28T16:48:55Z)
• Is this model reliable for everyone? Testing for strong calibration [4.893345190925178]
  十分に校正されたリスク予測モデルでは、平均予測確率は任意のサブグループの真の事象率に近い。 強いキャリブレーションのためのモデル監査のタスクは、潜在的な部分群の数が多すぎるため、難しいことが知られている。 適合性試験の最近の進歩は潜在的な解決策を提供するが、弱い信号を持つ設定には設計されていない。
  論文  参考訳（メタデータ） (2023-07-28T00:59:14Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Heterogeneous Ensemble Learning for Enhanced Crash Forecasts -- A Frequentest and Machine Learning based Stacking Framework [0.803552105641624]
  本研究では,都市および郊外の5車線未分割セグメント(5T)の衝突頻度をモデル化するために,重要なHEM手法の1つ,スタックリングを適用した。 Stackingの予測性能は、パラメトリック統計モデル(Poissonと負二項法)と機械学習技術の3つの状態(決定木、ランダム森林、勾配上昇)と比較される。
  論文  参考訳（メタデータ） (2022-07-21T19:15:53Z)
• Certifying Data-Bias Robustness in Linear Regression [12.00314910031517]
  本稿では, 線形回帰モデルが学習データセットのラベルバイアスに対して, ポイントワイズで損なわれているかどうかを検証する手法を提案する。 この問題を個々のテストポイントに対して正確に解く方法を示し、近似的だがよりスケーラブルな方法を提供する。 また、いくつかのデータセット上の特定のバイアス仮定に対して、高いレベルの非腐食性など、バイアス-腐食性のギャップを掘り下げる。
  論文  参考訳（メタデータ） (2022-06-07T20:47:07Z)
• Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
  本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。 モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。