論文の概要: Validation of a Small Language Model for DSM-5 Substance Category Classification in Child Welfare Records

• arxiv url: http://arxiv.org/abs/2603.06836v1
• Date: Fri, 06 Mar 2026 19:58:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:13.192328
• Title: Validation of a Small Language Model for DSM-5 Substance Category Classification in Child Welfare Records
• Title（参考訳）: 児童福祉記録におけるDSM-5サブスタンスカテゴリー分類のための小言語モデルの検証
• Authors: Brian E. Perron, Dragan Stoll, Bryan G. Victor, Zia Qia, Andreas Jud, Joseph P. Ryan,
• Abstract要約: 近年の研究では、大型言語モデル(LLM)が児童福祉物語において二項分類タスクを実行できることが示されている。 本研究は,児童福祉調査の物語において,DSM-5に分類される特定の物質の種類を特定するために,ローカルにホストされたLSMを検証することを目的とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: Recent studies have demonstrated that large language models (LLMs) can perform binary classification tasks on child welfare narratives, detecting the presence or absence of constructs such as substance-related problems, domestic violence, and firearms involvement. Whether smaller, locally deployable models can move beyond binary detection to classify specific substance types from these narratives remains untested. Objective: To validate a locally hosted LLM classifier for identifying specific substance types aligned with DSM-5 categories in child welfare investigation narratives. Methods: A locally hosted 20-billion-parameter LLM classified child maltreatment investigation narratives from a Midwestern U.S. state. Records previously identified as containing substance-related problems were passed to a second classification stage targeting seven DSM-5 substance categories. Expert human review of 900 stratified cases assessed classification precision, recall, and inter-method reliability (Cohen's kappa). Test-retest stability was evaluated using approximately 15,000 independently classified records. Results: Five substance categories achieved almost perfect inter-method agreement (kappa = 0.94-1.00): alcohol, cannabis, opioid, stimulant, and sedative/hypnotic/anxiolytic. Classification precision ranged from 92% to 100% for these categories. Two low-prevalence categories (hallucinogen, inhalant) performed poorly. Test-retest agreement ranged from 92.1% to 99.1% across the seven categories. Conclusions: A small, locally hosted LLM can reliably classify substance types from child welfare administrative text, extending prior work on binary classification to multi-label substance identification.
• Abstract（参考訳）: 背景:近年の研究では、大型言語モデル(LLM)が児童福祉の物語において二項分類タスクを実行でき、物質関連問題、家庭内暴力、銃器の関与といった構成物の存在や欠如を検出することが示されている。 より小さく、ローカルにデプロイ可能なモデルがバイナリ検出を超えて、これらの物語から特定の物質タイプを分類できるかどうかはまだ検証されていない。 目的: 児童福祉調査物語におけるDSM-5カテゴリーに沿った特定の物質の種類を特定するために, ローカルにホストされたLCM分類器を検証すること。 方法: 全米中西部州の児童虐待調査の物語を、地元でホストされた20ビリオンパラメーターのLLMが分類した。 物質関連問題を含むと同定された記録は、7つのDSM-5物質カテゴリを対象とした第2の分類段階に渡された。 分類精度,リコール,金属間信頼性 (Cohen's kappa) を評価した900件の階層化症例について, 専門家による検討を行った。 テスト-再テストの安定性は,約15,000の独立した分類記録を用いて評価した。 結果: ほぼ完全な金属間合意(Kappa = 0.94-1.00)を達成し, アルコール, 大麻, オピオイド, 刺激薬, 鎮静・催眠・不安療法の5つの物質カテゴリーが得られた。 分類精度は、これらのカテゴリーで92%から100%であった。 2つの低頻度カテゴリー (ハロキノゲン, 吸入剤) は成績不良であった。 テスト-テストの合意は7つのカテゴリーで92.1%から99.1%まで変化した。 結論: 小規模でローカルにホストされたLSMは、児童福祉行政文書から物質タイプを確実に分類することができ、二項分類の先行研究を多ラベルの物質識別に拡張することができる。

関連論文リスト

• AI-Powered Detection of Inappropriate Language in Medical School Curricula [6.385207436425861]
  不適切な言語(IUL)とそのサブカテゴリを手動で識別することは、違法にコストがかかり非現実的である。 ラベル付きデータに微調整された小言語モデルの第一級評価を行う。 LLama-3 8B と 70B は、慎重にキュレートされたショットでも、主に SLM よりも優れています。
  論文  参考訳（メタデータ） (2025-08-27T13:40:45Z)
• RawMal-TF: Raw Malware Dataset Labeled by Type and Family [1.2289361708127875]
  この研究は、マルウェアの種類と家族レベルの両方にラベル付けされた新しいデータセットを開発することによって、機械学習を用いたマルウェア分類の課題に対処する。 データセットには14のマルウェアタイプと17のマルウェアファミリーが含まれており、統合された特徴抽出パイプラインを使用して処理された。 マルウェアと良性サンプルのバイナリ分類において、ランダムフォレストとXGBoostは全データセットに対して高い精度を達成した。
  論文  参考訳（メタデータ） (2025-06-30T14:38:01Z)
• Generalized Semantic Contrastive Learning via Embedding Side Information for Few-Shot Object Detection [52.490375806093745]
  マイクロショットオブジェクト検出(FSOD)の目的は、少数のトレーニングサンプルで新しいオブジェクトを検出することである。 本稿では,特徴空間とサンプル視点から得られる負の影響を緩和する側面情報を紹介する。 我々のモデルは従来の最先端手法よりも優れており、ほとんどのショット/スプリットにおけるFSODの能力は大幅に向上している。
  論文  参考訳（メタデータ） (2025-04-09T17:24:05Z)
• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• Multi-Label Requirements Classification with Large Taxonomies [40.588683959176116]
  大規模ラベルによる多ラベル要求分類は、要求のトレーサビリティを補助するが、教師付きトレーニングでは違法にコストがかかる。 私たちは129の要件を,250から1183のクラスから769のラベルに関連付けました。 文ベース分類は単語ベース分類と比較して有意に高いリコール率を示した。 階層的な分類戦略は要求分類の性能を必ずしも改善しなかった。
  論文  参考訳（メタデータ） (2024-06-07T09:53:55Z)
• Natural Language Processing in Electronic Health Records in Relation to Healthcare Decision-making: A Systematic Review [2.555168694997103]
  自然言語処理は電子健康記録から臨床知見を抽出するために広く用いられている。 注釈付きデータや自動化ツール、その他の課題の欠如は、EHRに対するNLPのフル活用を妨げる。 機械学習(ML)、ディープラーニング(DL)、NLP技術を研究し、この分野の限界と機会を包括的に理解するために比較した。
  論文  参考訳（メタデータ） (2023-06-22T12:10:41Z)
• Plugin estimators for selective classification with out-of-distribution detection [67.28226919253214]
  現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。 これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。 OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。 本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
  論文  参考訳（メタデータ） (2023-01-29T07:45:17Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Novel Class Discovery without Forgetting [72.52222295216062]
  我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。 ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。 CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
  論文  参考訳（メタデータ） (2022-07-21T17:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。