論文の概要: Relation Extraction Capabilities of LLMs on Clinical Text: A Bilingual Evaluation for English and Turkish
- arxiv url: http://arxiv.org/abs/2601.09367v1
- Date: Wed, 14 Jan 2026 10:49:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-15 18:59:20.372293
- Title: Relation Extraction Capabilities of LLMs on Clinical Text: A Bilingual Evaluation for English and Turkish
- Title（参考訳）: 臨床テキストにおけるLLMの関連抽出能力:英語とトルコ語におけるバイリンガル評価
- Authors: Aidana Aidynkyzy, Oğuz Dikenelli, Oylum Alatlı, Şebnem Bora,
- Abstract要約: 本稿では,大言語モデル(LLM)を英語とトルコ語の両方で臨床関係抽出タスクに適用した最初の総合的バイリンガル評価について述べる。
我々は、複数のコンテキスト内学習(ICL)とCoT(Chain-of-Thought)アプローチを含む、多様なプロンプト戦略の評価を行う。
提案手法は従来の微調整モデルより一貫して優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The scarcity of annotated datasets for clinical information extraction in non-English languages hinders the evaluation of large language model (LLM)-based methods developed primarily in English. In this study, we present the first comprehensive bilingual evaluation of LLMs for the clinical Relation Extraction (RE) task in both English and Turkish. To facilitate this evaluation, we introduce the first English-Turkish parallel clinical RE dataset, derived and carefully curated from the 2010 i2b2/VA relation classification corpus. We systematically assess a diverse set of prompting strategies, including multiple in-context learning (ICL) and Chain-of-Thought (CoT) approaches, and compare their performance to fine-tuned baselines such as PURE. Furthermore, we propose Relation-Aware Retrieval (RAR), a novel in-context example selection method based on contrastive learning, that is specifically designed to capture both sentence-level and relation-level semantics. Our results show that prompting-based LLM approaches consistently outperform traditional fine-tuned models. Moreover, evaluations for English performed better than their Turkish counterparts across all evaluated LLMs and prompting techniques. Among ICL methods, RAR achieves the highest performance, with Gemini 1.5 Flash reaching a micro-F1 score of 0.906 in English and 0.888 in Turkish. Performance further improves to 0.918 F1 in English when RAR is combined with a structured reasoning prompt using the DeepSeek-V3 model. These findings highlight the importance of high-quality demonstration retrieval and underscore the potential of advanced retrieval and prompting techniques to bridge resource gaps in clinical natural language processing.
- Abstract（参考訳）: 非英語言語における臨床情報抽出のための注釈付きデータセットの不足は、主に英語で開発された大規模言語モデル(LLM)に基づく手法の評価を妨げる。
本研究では,英語とトルコ語の両方における臨床関係抽出(RE)タスクにおけるLLMの包括的二言語的評価について紹介する。
この評価を容易にするために、2010 i2b2/VA関係分類コーパスから導出・精巧にキュレートされた、英語とトルコ語による初の並列臨床REデータセットを紹介した。
我々は,複数のコンテキスト内学習(ICL)やCoT(Chain-of-Thought)アプローチを含む多様なプロンプト戦略を体系的に評価し,その性能をPUREなどの微調整ベースラインと比較する。
さらに, 文レベルと関係レベルの両方のセマンティクスを捉えることを目的とした, コントラスト学習に基づく新しい文脈内サンプル選択手法RARを提案する。
提案手法は従来の微調整モデルより一貫して優れていることを示す。
さらに、英語の評価は、すべての評価LDMとプロンプト技術でトルコ語よりも優れていた。
ICLの手法の中で、RARは最高性能を達成し、Gemini 1.5 Flashは英語で0.906点、トルコ語で0.888点に達した。
RARとDeepSeek-V3モデルを用いた構造化推論プロンプトを組み合わせると、パフォーマンスはさらに0.918 F1に向上する。
これらの知見は, 高品質な実演検索の重要性を浮き彫りにして, 臨床自然言語処理における資源ギャップを埋めるために, 高度な検索と技術革新の可能性を浮き彫りにしている。
関連論文リスト
- Combining Distantly Supervised Models with In Context Learning for Monolingual and Cross-Lingual Relation Extraction [22.152211131922943]
HYDRE-HYbrid Distantly Supervised Relation extract frameworkを提案する。
まず、訓練されたDSREモデルを使用して、与えられたテスト文の上位k候補関係を特定する。
そして、トレーニングデータから信頼性の高い文レベルの例を抽出する、新しい動的例証検索戦略を使用する。
論文 参考訳（メタデータ） (2025-10-21T06:55:19Z) - LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
LANPOは、フィードバックの役割をきれいに分離するフレームワークである。
我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
論文 参考訳（メタデータ） (2025-10-18T15:51:19Z) - Code-Switching In-Context Learning for Cross-Lingual Transfer of Large Language Models [64.54005959758733]
我々は,コードスイッチング・イン・コンテキスト・ラーニング(CSICL)を,推論中の翻訳障壁を克服するための原則的かつ堅牢なアプローチとして導入する。
4つのLLM、6つのデータセット、10の言語にわたる広範な実験を行い、知識集約型ドメインと推論指向ドメインの両方にまたがる。
その結果、CSICLはX-ICLベースラインを一貫して上回り、ターゲット言語と見当たらない言語の両方で3.1%pと1.9%pを達成した。
論文 参考訳（メタデータ） (2025-10-07T08:35:42Z) - Efficient extraction of medication information from clinical notes: an evaluation in two languages [2.5610226051536578]
本稿では,患者の治療体制に関連する物質とその関係を抽出するためのトランスフォーマーベースのアーキテクチャを提案する。
提案手法を用いて, ホピトー大学ストラスブール校の注釈付きコーパスを用いて, フランスの臨床ノートのモデルを訓練し, 評価した。
論文 参考訳（メタデータ） (2025-02-05T15:13:08Z) - ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。
既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。
LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-21T08:06:10Z) - Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。
本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
論文 参考訳（メタデータ） (2024-05-07T21:58:45Z) - Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model [3.3590922002216193]
モデルに依存しないメタラーニングと,このギャップに対処するために大規模言語モデル(LLM)を活用する。
まず,自己超越型メタラーニングモデルを適用し,迅速な適応と言語間移動のためのモデル初期化を改良する。
並行して、LLMのインコンテキスト学習機能を用いて、スワヒリのメンタルヘルス予測タスクにおけるパフォーマンスの精度を評価する。
論文 参考訳（メタデータ） (2024-04-13T17:11:35Z) - Using Natural Language Explanations to Improve Robustness of In-context Learning [35.18010811754959]
大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて多くのタスクを抽出できる
自然言語説明法(NLE)によるICLの強化は,敵対的データセット上でのLLMの堅牢性を向上させるかを検討する。
論文 参考訳（メタデータ） (2023-11-13T18:49:13Z) - Strategies for improving low resource speech to text translation relying
on pre-trained ASR models [59.90106959717875]
本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。
本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
論文 参考訳（メタデータ） (2023-05-31T21:58:07Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。