論文の概要: MASH-Bench: Diagnosing Cross-Source Failure in Mass-Shooting Risk Classification

• arxiv url: http://arxiv.org/abs/2608.22460v1
• Date: Sun, 23 Aug 2026 15:28:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.773542
• Title: MASH-Bench: Diagnosing Cross-Source Failure in Mass-Shooting Risk Classification
• Title（参考訳）: MASH-Bench: 大量射撃リスク分類におけるクロスソース障害の診断
• Abstract要約: パブリックなマスシューティングデータベースは、カバレッジ、機能の可用性、レポートのプラクティスに大きく異なる。 我々は、4つの米国データベースから6,968件のインシデントを調和したベンチマークであるMASH-Benchを紹介する。 我々は,残余のデータセットアウト評価を用いて,ソース間のリスク分類を評価する。
• 参考スコア（独自算出の注目度）: 2.1067460775364286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Public mass-shooting databases differ substantially in coverage, feature availability, and reporting practices, creating challenges for machine-learning models that must generalize across data sources. We introduce MASH-Bench, a harmonized benchmark of 6,968 incidents from four U.S. databases: Kaggle, Mother Jones, Stanford MSA, and the Gun Violence Archive (GVA). We evaluate cross-source risk classification using leave-one-dataset-out (LODO) evaluation. Random Forest, XGBoost, and LightGBM achieve VeryHigh-risk recall of 0.68-0.89 on the curated sources but generalize poorly to GVA, where mean recall drops to 0.20 and precision to 0.0004. To investigate the source of this degradation, we conduct a controlled feature-masking ablation that removes the five features unavailable in GVA from the curated sources. The resulting recall collapse to zero provides evidence that feature completeness is a major contributor to the observed cross-source failure. We further evaluate three domain-adaptation approaches: DANN, CORAL, and importance weighting. DANN improves VeryHigh-risk recall on GVA by 0.282 (95% CI [0.11, 0.47], p = 0.003), although precision remains low, whereas CORAL and importance weighting yield zero recall. Oracle prior-shift recalibration likewise fails to recover VeryHigh-risk predictions, indicating that label-side correction alone is insufficient under the observed feature deficiencies. A per-group audit further identifies substantial disparities associated with media-attributed mental-health labels. Overall, these results indicate that, in MASH-Bench, cross-source generalization is constrained more by feature completeness and label prevalence than by classifier choice. The benchmark provides a controlled setting for diagnosing these effects in cross-source risk classification.
• Abstract（参考訳）: パブリックなマスシューティングデータベースは、カバレッジ、機能可用性、レポートのプラクティスが大きく異なり、データソースをまたいで一般化する必要がある機械学習モデルの課題を生み出している。 我々は、Kaggle、Mother Jones、Stanford MSA、Gun Violence Archive (GVA)の4つの米国データベースから6,968件のインシデントを調和させたベンチマークであるMASH-Benchを紹介する。 我々は、LODO(Left-one-dataset-out)評価を用いて、ソース間のリスク分類を評価する。 ランダムフォレスト、XGBoost、LightGBMは、キュレートされたソースで0.68-0.89のVery High-riskリコールを達成するが、平均リコールが0.20に、精度が0.0004に低下するGVAにはあまり一般化しない。 この劣化の原因を明らかにするために, キュレートされたソースからGVAで利用できない5つの特徴を除去する制御された特徴マスキングアブレーションを行う。 その結果、ゼロへのリコール崩壊は、機能完全性が観測されたクロスソース障害の主要な原因であることを示す証拠となる。 さらに、DANN、CORAL、重み付けという3つのドメイン適応アプローチを評価した。 DANNはGVA上のVery High-riskリコールを0.282(95% CI [0.11, 0.47], p = 0.003)改善するが、精度は低い。 Oracle の事前修正も VeryHigh リスク予測の回復に失敗している。 グループごとの監査では、メディア配信されたメンタルヘルスラベルに関連する実質的な格差がさらに特定される。 これらの結果は、MASH-Benchでは、クロスソースの一般化は、分類器の選択よりも特徴の完全性やラベルの有能性によって制限されていることを示している。 このベンチマークは、これらの効果をソース間のリスク分類で診断するための制御された設定を提供する。

関連論文リスト

• The Accuracy Paradox: Empirical Diagnostic of Default Decision Thresholds in Multi-Label Enzyme Commission Prediction [With Code] [0.7530103765625609]
  本報告では,厳密なクラス不均衡の下で動作している未校正決定境界の系統的実証診断について述べる。 その結果, マルチラベルシステムAは77.16%, マクロF1スコア(0.3976), マクロリコール(0.3872)の精度が著しく向上した。
  論文  参考訳（メタデータ） (2026-09-07T19:00:17Z)
• CASCADE: An Agentic Regulatory Network Framework for Patient-Data-Validated Downstream Perturbation Prediction [0.0]
  我々は、実際のTCGA患者の腫瘍データに対するノックダウンの逆転のプロキシとして、焦点遺伝子コピーナンバーアンプリフィケーション(cuscus-gene copy-number amplification)を用いる。 MYCの場合、CASCADEの予測されたノックダウンターゲットは、実際のvs非増幅腫瘍の発現と強い一致を示した。 その精度は、MYCまたはE2F駆動生物学の既存の公的な知識を超えないことが示されている。
  論文  参考訳（メタデータ） (2026-08-05T19:30:44Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
  本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。 画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
  論文  参考訳（メタデータ） (2026-07-29T05:16:59Z)
• A Quiet Failure in Calibrated Virtual Screening: Marginal Conformal Prediction Under-Covers the Minority Class, and a Class-Conditional Fix Recovers It [0.0]
  整形予測は、モデルの信頼性に正直な数字を付けるために、薬物発見に採用されている。 この保証は、不均衡なデータセットでは危険である可能性がある。 我々の貢献は、この既知の共形理論のギャップがいかに深刻で不可視であるかを実際の化学で実証することである。
  論文  参考訳（メタデータ） (2026-07-07T04:31:56Z)
• Confidence is Not Reliability: Rethinking MC Dropout in Brain Tumour Segmentation [2.104759809264928]
  治療クリティカルなサブリージョンで静かに失敗するセグメンテーションモデルは、患者の安全リスクを表す。 モンテカルロ(MC)Dropoutによるボクセルレベルの不確実性評価は,セグメンテーション誤差を確実に識別できるかどうかを問う。 我々は、高性能プレトレーニング済みSegResNetと、残留ユニットを持つローカルトレーニングされたUNetを評価する。
  論文  参考訳（メタデータ） (2026-06-17T17:24:41Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Residual Stream Analysis of Overfitting And Structural Disruptions [26.444437808784482]
  安全データは一般的な命令データに比べてトークンエントロピーと2グラムの多様性が著しく低いことを示す。 根本原因を明らかにするために,PCAをベースとした安定な形状解析ツールであるFlowLensを紹介する。 中層残留物における過剰な分散濃度をペナル化する補助正則化器である可変濃度損失を提案する。
  論文  参考訳（メタデータ） (2026-03-04T11:13:58Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
  不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。 皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。