論文の概要: FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts
- arxiv url: http://arxiv.org/abs/2604.06403v1
- Date: Tue, 07 Apr 2026 19:36:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.210009
- Title: FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts
- Title（参考訳）: FMI@SU ToxHabits:スペインの臨床テキストにおける毒性ハビット抽出におけるLLMの性能評価
- Authors: Sylvia Vassileva, Ivan Koychev, Svetla Boytcheva,
- Abstract要約: 本論文は,スペインにおける臨床文献における有害な習慣の認識へのアプローチについて述べる。
提案手法は、英語以外の言語で名前付きエンティティを認識するための有望な結果を示すテストセットで0.65のF1スコアを達成した。
- 参考スコア（独自算出の注目度）: 3.7463543521744764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The paper presents an approach for the recognition of toxic habits named entities in Spanish clinical texts. The approach was developed for the ToxHabits Shared Task. Our team participated in subtask 1, which aims to detect substance use and abuse mentions in clinical case reports and classify them in four categories (Tobacco, Alcohol, Cannabis, and Drug). We explored various methods of utilizing LLMs for the task, including zero-shot, few-shot, and prompt optimization, and found that GPT-4.1's few-shot prompting performed the best in our experiments. Our method achieved an F1 score of 0.65 on the test set, demonstrating a promising result for recognizing named entities in languages other than English.
- Abstract（参考訳）: 本論文は,スペインにおける臨床文献における有害な習慣の認識へのアプローチについて述べる。
このアプローチはToxHabits Shared Taskのために開発された。
本研究チームは, 臨床症例報告における薬物使用と乱用に関する言及を検知し, 4つのカテゴリー(タバコ, アルコール, カンナビス, ドラッグ)に分類することを目的としたSubtask 1に参加した。
ゼロショット, 少数ショット, 即時最適化など, タスクにLLMを利用する様々な手法を検討した結果, GPT-4.1の少数ショットプロンプトは, 実験において最善であることがわかった。
提案手法は、英語以外の言語で名前付きエンティティを認識するための有望な結果を示すテストセットで0.65のF1スコアを達成した。
関連論文リスト
- NOWJ @BioCreative IX ToxHabits: An Ensemble Deep Learning Approach for Detecting Substance Use and Contextual Information in Clinical Texts [0.09320657506524148]
バイオCreative IXのToxHabits Shared TaskにNOWJを提出する。
この課題は、スペインの臨床文献における有害物質の使用と文脈的属性の検出を目標とする。
本システムでは、BETOとCRF層を統合してシーケンスラベリングを行い、多様なトレーニング戦略を採用し、文フィルタリングを用いて精度を向上させる。
論文 参考訳（メタデータ） (2026-02-10T07:04:44Z) - Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。
この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。
さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
論文 参考訳（メタデータ） (2025-05-24T12:31:27Z) - QUAD-LLM-MLTC: Large Language Models Ensemble Learning for Healthcare Text Multi-Label Classification [4.8342038441006805]
収集された医療用テキストデータのエスカレート量は、テキスト分類を自動化する上でユニークな課題である。
従来の機械学習モデルは、表現されたトピックの配列を完全にキャプチャできないことが多い。
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクにおいて顕著な効果を示した。
論文 参考訳（メタデータ） (2025-02-20T01:46:12Z) - TEII: Think, Explain, Interact and Iterate with Large Language Models to Solve Cross-lingual Emotion Detection [5.942385193284472]
言語間感情検出により,グローバルな傾向,世論,社会現象を大規模に分析することができる。
我々のシステムは0.16F1スコアの絶対値でベースラインを上回り、競合するシステムの中では2位にランクインした。
論文 参考訳（メタデータ） (2024-05-27T12:47:40Z) - Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。
自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。
我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
論文 参考訳（メタデータ） (2024-02-16T08:10:34Z) - Native Language Identification with Large Language Models [60.80452362519818]
我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。
また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
論文 参考訳（メタデータ） (2023-12-13T00:52:15Z) - Development and validation of a natural language processing algorithm to
pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。
臨床文献のコーパスを12種類に分類した。
私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
論文 参考訳（メタデータ） (2023-03-23T17:17:46Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。