論文の概要: Cross-Platform Generalisation Failure in Mental Health Natural Language Processing: A Five-Axis Fairness Audit of Transformer Models on Social Media

• arxiv url: http://arxiv.org/abs/2608.26138v1
• Date: Thu, 25 Jun 2026 19:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.359698
• Title: Cross-Platform Generalisation Failure in Mental Health Natural Language Processing: A Five-Axis Fairness Audit of Transformer Models on Social Media
• Title（参考訳）: メンタルヘルス自然言語処理におけるクロスプラットフォームの一般化失敗 : ソーシャルメディア上のトランスフォーマーモデルの5軸公正監査
• Abstract要約: CPFE(Cross-Platform Fairness Evaluation)は、識別性能、校正、統計的重要性、予測エクイティ、帰属安定性をカバーする5軸監査プロトコルである。 われわれは、Kaggleのメンタルヘルスコーパスでトレーニングされた4つのトランスフォーマーモデルに適用し、RedditとTwitterで評価した。 独立して評価された3つのモデルは、一貫した、実質的なクロスプラットフォームのAUC分解を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the Cross-Platform Fairness Evaluation (CPFE) framework -- a five-axis audit protocol covering discriminative performance, calibration, statistical significance, prediction equity, and attribution stability -- and apply it to four transformer models (BERT, RoBERTa, Emotion-DistilRoBERTa, GoEmotions-RoBERTa) trained on a Kaggle mental health corpus (n=35,556) and evaluated on Reddit (n=6,257) and Twitter (n=2,883) test sets with emotion labels mapped to clinical proxies. All three independently evaluated models exhibit consistent and substantial cross-platform AUC degradation (30.3-35.4% on Reddit, 37.9-39.5% on Twitter) relative to within-platform performance (AUC 0.983-0.987), confirmed across five independent training seeds. Calibration failure is concurrent and severe: ECE rises from 0.056-0.060 in-domain to 0.196-0.229 on Reddit and 0.499-0.542 on Twitter. Platform-specific temperature scaling reduces mean ECE by 88.0% without altering discriminative performance (mean |delta AUC|<0.01), confirming separable failure modes. Prediction equity analysis reveals large cross-platform disparities (raw DI < 0.17; prior-shift-adjusted DI: 0.11-0.29 on Reddit), with equalized odds differences of 0.753-0.830 for mental health proxy classes on Reddit and 0.755-0.831 for anxiety on Twitter. Attribution stability analysis shows near-complete vocabulary divergence across platforms (Jaccard J=0 in 14/16 model-class pairs at K=10). These findings support treating cross-platform validation across all five CPFE axes as a standard requirement for mental health NLP systems in heterogeneous environments. In a single-seed fine-tuning experiment, mean AUC improved by 0.216, suggesting target-platform labels provide greater benefit as training signal than as calibration signal.
• Abstract（参考訳）: 筆者らは,Cross-Platform Fairness Evaluation (CPFE) フレームワークを,差別的パフォーマンス,キャリブレーション,統計的意義,予測価値,帰属的安定性をカバーする5軸監査プロトコルとして導入し,カグル精神保健コーパス (n=35,556) で訓練された4つのトランスフォーマーモデル (BERT, RoBERTa, Emotion-DistilRoBERTa, GoEmotions-RoBERTa) に適用し,Reddit (n=6,257) とTwitter (n=2,883) で評価した。 独立して評価された3つのモデルは、Redditで30.3-35.4%、Twitterで37.9-39.5%、独立した5つのトレーニングシードで確認されたプラットフォーム内パフォーマンス(AUC 0.983-0.987)と比較して、一貫性のある、実質的なクロスプラットフォームのAUC劣化を示す。 ECEは0.056-0.060ドメインからRedditでは0.196-0.229、Twitterでは0.499-0.542に上昇する。 プラットフォーム固有の温度スケーリングは、判別性能(すなわち、デルタAUC|<0.01)を変えずに平均ECEを88.0%削減し、分離可能な故障モードを確認する。 予測エクイティ分析では、Reddit上でのメンタルヘルスプロキシクラスでは0.753-0.830、Twitter上での不安では0.755-0.831と、大きなクロスプラットフォーム格差(raw DI < 0.17; pre-shift-adjusted DI: 0.11-0.29)が明らかにされている。 帰属安定性解析は、プラットフォーム間でほぼ完全な語彙のばらつきを示す(Jaccard J=0 in 14/16 model-class pairs at K=10)。 これらの知見は、異種環境におけるメンタルヘルスNLPシステムの標準要件として、5つのCPFE軸間のクロスプラットフォームバリデーションの処理を支援する。 単座微調整実験では、平均AUCが0.216改善し、ターゲットプラットフォームラベルが校正信号よりもトレーニング信号として有利であることが示唆された。

関連論文リスト

• Model Effect or Label Effect? Refined Annotations and a Human-Referenced Benchmark for Pulmonary Embolism Segmentation [15.367049284227582]
  CADPE, FUMPE, READから166症例のVoxel-annotated CT肺血管造影検査を行った。 2つの事前訓練されたnnU-Netモデルと、オリジナルのアノテーションと洗練されたアノテーションを評価することでラベル効果を測定した。 ラベル効果はCADPEおよびFUMPEのモデル効果を超え,READでは0.045であった。
  論文  参考訳（メタデータ） (2026-08-25T12:34:07Z)
• From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks [41.99844472131922]
  基礎モデル弱いラベルに対するベンチマークキャリブレーションを提供する。 理論によって予測される交差は、PCAMではng100、ISICでは20-50、NIH-CXRでは250-500である。 NIH-CXR上の構造付きvs-ランダムノイズ符号フリップは、境界のレートのみの定式化が不完全であることを示す。
  論文  参考訳（メタデータ） (2026-05-23T23:15:07Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Calibration, Uncertainty Communication, and Deployment Readiness in CKD Risk Prediction: A Framework Evaluation Study [0.0]
  慢性腎臓病の機械学習モデルは、しばしば内部テストセットに強い差別的スコアを与える。 UCI CKDデータセット(400例,62.5%)を用いた5つの分類器の訓練を行った。 キャリブレーション品質,コンフォーマルな予測カバレッジ,8基準の展開準備フレームワークについて検討した。
  論文  参考訳（メタデータ） (2026-05-20T17:12:48Z)
• The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation [1.8345614451086532]
  RLHF 対応言語モデルは TruthfulQA 上で応答均質化を示す。 40-79%の質問は、10のi.i.d.サンプルに対して単一のセマンティッククラスタを生成する。
  論文  参考訳（メタデータ） (2026-03-25T09:35:15Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• Intersectional Fairness in Vision-Language Models for Medical Image Disease Classification [25.30858592524878]
  CMAC-MMD(Cross-Modal Alignment Consistency)は、横断的な患者サブグループ間で診断の確実性を標準化するトレーニングフレームワークである。 皮膚科コホートでは, 交叉異常診断ギャップ(正陽性率差$TPR)を0.50から0.26に減らした。 緑内障検診では、TPRが0.41ドルから0.31ドルに値下げされ、より良いAUCが0.72ドル(vs. 0.71ベースライン)となった。
  論文  参考訳（メタデータ） (2025-12-17T09:47:29Z)
• Causal Judge Evaluation: Calibrated Surrogate Metrics for LLM Systems [0.29465623430708904]
  未校正スコアは選好を逆転させることができ、未校正スコアに対するナイーブな信頼区間は、ほぼ0%のカバレッジを獲得し、重要度重み付け推定器は、限られた重複の下で崩壊する。 3つの障害を全て解決するフレームワークであるCausal Judge Evaluationを紹介します。
  論文  参考訳（メタデータ） (2025-12-11T22:16:24Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。