論文の概要: Building Trustworthy Mental Health Benchmarks on Bluesky: A Validation-Aware Weak-Supervision Framework
- arxiv url: http://arxiv.org/abs/2609.22696v1
- Date: Sat, 19 Sep 2026 02:11:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.89282
- Title: Building Trustworthy Mental Health Benchmarks on Bluesky: A Validation-Aware Weak-Supervision Framework
- Title(参考訳): Bluesky上で信頼できるメンタルヘルスベンチマークを構築する - バリデーション対応の弱監視フレームワーク
- Abstract要約: 本稿では,ブルースキーにおける自殺観念(SI)とより広範なメンタルヘルス(MH)情報開示ベンチマークの構築と評価を行うための,検証に配慮した弱スーパービジョンシステムを提案する。
このシステムは、パブリックファイアホースコレクション、タスク固有のレキシコンフィルタリング、Llama-3-8B補助バイナリアノテーション、人間適応型バリデーションサブセット、モデルベンチマークを統合している。
評価の結果、モデルの性能はタスク定義と検証プロトコルの両方に強く依存していることがわかった。
- 参考スコア(独自算出の注目度): 0.8874671354802572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized social media platforms create new opportunities and challenges for computational mental health research because data access, moderation, labeling, and deployment responsibilities are distributed across multiple technical and governance layers. This paper presents a validation-aware weak-supervision system for constructing and evaluating suicidal ideation (SI) and broader mental health (MH) disclosure benchmarks on Bluesky, a decentralized social media platform built on the AT Protocol. The system integrates public firehose collection, task-specific lexicon filtering, Llama-3-8B-assisted binary annotation, human-adjudicated validation subsets, and transformer-based model benchmarking. Using this pipeline, we construct two task-specific corpora containing 8,346 SI-labeled posts and 9,988 MH-labeled posts. The evaluation shows that model performance depends strongly on both task definition and validation protocol. BERT+LSTM achieves the highest SI stratified cross-validation F1-score, RoBERTa achieves the strongest SI holdout F1-score, and DistilRoBERTa achieves the best MH cross-validation F1-score. Human validation reveals different weak-label failure modes across tasks, with SI labels dominated by false negatives and MH labels dominated by false positives. These findings show that decentralized social media can support reproducible mental health benchmarking, but only when system design, label provenance, validation strategy, and deployment constraints are evaluated together.
- Abstract(参考訳): 分散ソーシャルメディアプラットフォームは、データアクセス、モデレーション、ラベル付け、デプロイメント責任が複数の技術層とガバナンス層に分散しているため、計算的メンタルヘルス研究のための新たな機会と課題を生み出します。
本稿では,ATプロトコル上に構築された分散型ソーシャルメディアプラットフォームであるBluesky上での自殺観念(SI)とより広範なメンタルヘルス(MH)情報開示ベンチマークの構築と評価を行う。
このシステムは、パブリックファイアホースコレクション、タスク固有のレキシコンフィルタリング、Llama-3-8B補助バイナリアノテーション、人間適応型バリデーションサブセット、トランスフォーマーベースのモデルベンチマークを統合している。
このパイプラインを用いて,8,346のSIラベル付きポストと9,988のMHラベル付きポストを含む2つのタスク固有コーパスを構築した。
評価の結果、モデルの性能はタスク定義と検証プロトコルの両方に強く依存していることがわかった。
BERT+LSTMは最高SI成層クロスバリデーションF1スコア、RoBERTaは最強SIホールドアウトF1スコア、DistilRoBERTaは最高MHクロスバリデーションF1スコアを達成する。
人間の検証はタスク間で異なる弱いラベルの障害モードを示し、SIラベルは偽陰性、MHラベルは偽陽性である。
これらの結果から、分散ソーシャルメディアは再現可能なメンタルヘルスベンチマークをサポートすることができるが、システム設計、ラベル証明、バリデーション戦略、デプロイメント制約が一緒に評価される場合に限られる。
関連論文リスト
- A Benchmark Suite of Reddit-Derived Datasets for Mental Health Detection [0.0]
Redditをベースとした4つのデータセットのベンチマークセットを提示する。
全てのデータセットは、厳密な言語検査、明確に定義された注釈ガイドライン、人間の判断による検証に基づいて確立された。
論文 参考訳(メタデータ) (2026-04-25T22:20:53Z) - Mental Multi-class Classification on Social Media: Benchmarking Transformer Architectures against LSTM Models [7.464241214592479]
本稿では,精神保健ポストを分類するために,LSTM(Long Short-Term Memory)モデルと最先端トランスフォーマーの比較を行った。
まず、厳密なフィルタリングと統計的探索分析を用いて、6つのメンタルヘルス状態とコントロールグループにまたがるReddit投稿の大規模なデータセットをキュレートし、アノテーションの品質を保証する。
実験結果から, トランスフォーマーモデルは, 全クラスで91-99%のF1スコアとアキュラシーを達成した。
論文 参考訳(メタデータ) (2025-09-20T05:41:59Z) - Style-Aware Blending and Prototype-Based Cross-Contrast Consistency for Semi-Supervised Medical Image Segmentation [5.430389901321259]
スタイル認識型ブレンディングとプロトタイプベースのクロスコントラスト一貫性学習フレームワークを提案する。
ラベル付きデータとラベルなしデータの分散ミスマッチが統計的モーメントによって特徴付けられるという経験的観察から着想を得て,我々はスタイル誘導型分散混合モジュールを設計した。
強い擬似ラベルの潜在的なノイズを考慮すると,プロトタイプベースのクロスコントラスト戦略を導入し,情報監督信号の学習を促す。
論文 参考訳(メタデータ) (2025-07-28T11:26:24Z) - ConformalSAM: Unlocking the Potential of Foundational Segmentation Models in Semi-Supervised Semantic Segmentation with Conformal Prediction [57.930531826380836]
本研究は,未ラベル画像のアノテータとして画素レベルの視覚課題におけるラベル不足に,基礎的セグメンテーションモデルが対処できるかどうかを考察する。
ConformalSAMは,まず対象ドメインのラベル付きデータを用いて基礎モデルを校正し,ラベルなしデータの信頼できないピクセルラベルをフィルタリングする新しいSSSSフレームワークである。
論文 参考訳(メタデータ) (2025-07-21T17:02:57Z) - Unsupervised Visible-Infrared Person ReID by Collaborative Learning with Neighbor-Guided Label Refinement [53.044703127757295]
教師なし学習 可視赤外人物再識別 (USL-VI-ReID) は、ラベルなしのクロスモダリティデータセットからモダリティ不変の特徴を学習することを目的としている。
本稿では,生成したラベルを1つのモダリティからそれに対応するモダリティに同時に割り当てる,Dual Optimal Transport Label Assignment (DOTLA) フレームワークを提案する。
提案したDOTLA機構は、相互強化と相互モダリティデータアソシエーションの効率的な解を定式化することにより、不十分でノイズの多いラベルアソシエーションの副作用を効果的に低減することができる。
論文 参考訳(メタデータ) (2023-05-22T04:40:30Z) - A Weakly Supervised Learning Framework for Salient Object Detection via
Hybrid Labels [96.56299163691979]
本稿では,ハイブリッドラベル下でのSODタスクに焦点をあてる。
このタスクにおけるラベルノイズと量不均衡の問題に対処するため、我々は3つの洗練されたトレーニング戦略を持つ新しいパイプラインフレームワークを設計する。
5つのSODベンチマーク実験により,本手法は弱教師付き/非教師付き手法と競合する性能を示した。
論文 参考訳(メタデータ) (2022-09-07T06:45:39Z) - STRUDEL: Self-Training with Uncertainty Dependent Label Refinement
across Domains [4.812718493682454]
ホワイトマター高輝度(WMH)セグメンテーションのための非監視領域適応(UDA)アプローチを提案する。
疑似ラベルの不確かさを予測し,不確かさの高いラベルを強調する不確実性誘導損失関数をトレーニングプロセスに統合する。
We results on WMH segmentation across datasets showed the significant improvement of STRUDEL on standard self-training。
論文 参考訳(メタデータ) (2021-04-23T13:46:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。