論文の概要: Synthesized Annotation Guidelines are Knowledge-Lite Boosters for Clinical Information Extraction

• arxiv url: http://arxiv.org/abs/2504.02871v1
• Date: Tue, 01 Apr 2025 15:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:54.052788
• Title: Synthesized Annotation Guidelines are Knowledge-Lite Boosters for Clinical Information Extraction
• Title（参考訳）: 臨床情報抽出のための知識レベルブースターの合成アノテーションガイドライン
• Authors: Enshuo Hsu, Martin Ugbala, Krishna Kumar Kookal, Zouaidi Kawtar, Nicholas L. Rider, Muhammad F. Walji, Kirk Roberts,
• Abstract要約: 本稿では,LLMの知識要約とテキスト生成能力を抽出し,ガイドラインを合成する自己改善手法を提案する。 2012 i2b2 EVENT, 2012 i2b2 TIMEX, 2014 i2b2, 2018 n2c2では25.86%, 4.36%, 0.20%, 7.75%の厳格なF1スコアが得られた。 LLMを合成したガイドラインは、ほとんどのタスクで1.15%から4.14%の人書きのガイドラインよりも同等または優れたパフォーマンスを示した。
• 参考スコア（独自算出の注目度）: 2.7311339391824725
• License:
• Abstract: Generative information extraction using large language models, particularly through few-shot learning, has become a popular method. Recent studies indicate that providing a detailed, human-readable guideline-similar to the annotation guidelines traditionally used for training human annotators can significantly improve performance. However, constructing these guidelines is both labor- and knowledge-intensive. Additionally, the definitions are often tailored to meet specific needs, making them highly task-specific and often non-reusable. Handling these subtle differences requires considerable effort and attention to detail. In this study, we propose a self-improving method that harvests the knowledge summarization and text generation capacity of LLMs to synthesize annotation guidelines while requiring virtually no human input. Our zero-shot experiments on the clinical named entity recognition benchmarks, 2012 i2b2 EVENT, 2012 i2b2 TIMEX, 2014 i2b2, and 2018 n2c2 showed 25.86%, 4.36%, 0.20%, and 7.75% improvements in strict F1 scores from the no-guideline baseline. The LLM-synthesized guidelines showed equivalent or better performance compared to human-written guidelines by 1.15% to 4.14% in most tasks. In conclusion, this study proposes a novel LLM self-improving method that requires minimal knowledge and human input and is applicable to multiple biomedical domains.
• Abstract（参考訳）: 大規模言語モデルを用いた生成情報抽出は,特に数ショット学習によって普及している。 近年の研究では、従来ヒトアノテータの訓練に用いられてきたガイドラインに類似した、詳細な、人間可読なガイドラインを提供することで、パフォーマンスが著しく向上することが示唆されている。 しかし、これらのガイドラインの構築は、労働と知識の両方に重きを置いている。 さらに、定義は特定のニーズを満たすように調整されることが多く、タスク固有であり、しばしば再利用できない。 これらの微妙な違いに対処するには、かなりの努力と詳細への注意が必要である。 本研究では,LLMの知識要約とテキスト生成能力から自己改善手法を提案する。 2012 i2b2 EVENT, 2012 i2b2 TIMEX, 2014 i2b2, 2018 n2c2では25.86%, 4.36%, 0.20%, 7.75%の厳格なF1スコアが得られた。 LLMを合成したガイドラインは、ほとんどのタスクで1.15%から4.14%の人書きのガイドラインよりも同等または優れたパフォーマンスを示した。 そこで本研究では,最小限の知識と人間の入力を必要とせず,複数のバイオメディカル領域に適用可能な,新たな自己改善手法を提案する。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• LLMs Accelerate Annotation for Medical Information Extraction [7.743388571513413]
  本稿では,LLM(Large Language Models)と人間の専門知識を組み合わせた手法を提案する。 医療情報抽出タスクにおいて,我々の手法を厳格に評価し,我々のアプローチが人的介入を大幅に削減するだけでなく,高い精度を維持していることを示す。
  論文  参考訳（メタデータ） (2023-12-04T19:26:13Z)
• ProtoKD: Learning from Extremely Scarce Data for Parasite Ova Recognition [5.224806515926022]
  ProtoKDは,極端に少ないデータを用いたマルチクラス寄生生物認識の課題に対処するための最初のアプローチの一つである。 我々は、この重要な方向の研究を推進し、提案したProtoKDフレームワークが最先端のパフォーマンスを達成することを検証するために、新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-09-18T23:49:04Z)
• Knowledge-injected Prompt Learning for Chinese Biomedical Entity Normalization [6.927883826415262]
  本稿では,バイオメディカルエンティティ正規化(BEN)課題に取り組むために,知識注入型プロンプト学習(PL-Knowledge)手法を提案する。 具体的には、候補エンティティマッチング、知識抽出、知識符号化、知識注入、予測出力の5段階からなる。 医療機関に含まれる知識項目を効果的に符号化することにより、追加の知識は、医療機関間の潜伏関係を捕捉するモデルの能力を高める。
  論文  参考訳（メタデータ） (2023-08-23T09:32:40Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• A systematic evaluation of large language models for biomedical natural language processing: benchmarks, baselines, and recommendations [22.668383945059762]
  そこで本研究では,12個のBioNLPデータセットにまたがる4つの代表言語モデル(LLM)を体系的に評価する。 評価は、ゼロショット、静的少数ショット、動的Kアネレスト、微調整の4つの設定で行われる。 これらのモデルと最先端(SOTA)アプローチを比較し、細い(ドメイン固有の)BERTモデルやBARTモデルと比較する。
  論文  参考訳（メタデータ） (2023-05-10T13:40:06Z)
• Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
  性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。 本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-14T09:10:49Z)
• Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
  一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。 医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。 外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
  論文  参考訳（メタデータ） (2022-07-01T14:17:11Z)
• Confident Coreset for Active Learning in Medical Image Analysis [57.436224561482966]
  本稿では,情報的サンプルを効果的に選択するための,不確実性と分散性を考慮した新しい能動的学習手法である信頼コアセットを提案する。 2つの医用画像解析タスクの比較実験により,本手法が他の活動的学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-05T13:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。