論文の概要: Reasoning before Comparison: LLM-Enhanced Semantic Similarity Metrics
for Domain Specialized Text Analysis
- arxiv url: http://arxiv.org/abs/2402.11398v1
- Date: Sat, 17 Feb 2024 22:46:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 21:34:10.219575
- Title: Reasoning before Comparison: LLM-Enhanced Semantic Similarity Metrics
for Domain Specialized Text Analysis
- Title(参考訳): 比較前に推論する: llm-enhanced semantic similarity metrics for domain special text analysis
- Authors: Shaochen Xu, Zihao Wu, Huaqin Zhao, Peng Shu, Zhengliang Liu, Wenxiong
Liao, Sheng Li, Andrea Sikora, Tianming Liu, Xiang Li
- Abstract要約: 我々は,LLMをゼロショットテキスト識別とラベル生成に活用するフレームワークを開発した。
提案したフレームワークをMIMICデータ上でテストすることにより,GPT-4生成ラベルが意味的類似性評価を大幅に改善できることがわかった。
このフレームワークは放射線学レポートの類似性分析のために実装されているが、その概念は他の専門分野にも拡張することができる。
- 参考スコア(独自算出の注目度): 32.999484967809124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we leverage LLM to enhance the semantic analysis and develop
similarity metrics for texts, addressing the limitations of traditional
unsupervised NLP metrics like ROUGE and BLEU. We develop a framework where LLMs
such as GPT-4 are employed for zero-shot text identification and label
generation for radiology reports, where the labels are then used as
measurements for text similarity. By testing the proposed framework on the
MIMIC data, we find that GPT-4 generated labels can significantly improve the
semantic similarity assessment, with scores more closely aligned with clinical
ground truth than traditional NLP metrics. Our work demonstrates the
possibility of conducting semantic analysis of the text data using
semi-quantitative reasoning results by the LLMs for highly specialized domains.
While the framework is implemented for radiology report similarity analysis,
its concept can be extended to other specialized domains as well.
- Abstract(参考訳): 本研究では, ROUGEやBLEUのような従来の教師なしNLPメトリクスの限界に対処するため, LLMを活用して意味分析を強化し, テキストの類似度指標を開発する。
我々は, gpt-4 などの llm をゼロショットテキスト識別, ラベル生成に利用し, ラベルをテキスト類似度の測定値として用いるフレームワークを開発した。
提案手法をMIMICデータ上で検証することにより,GPT-4 生成ラベルは従来の NLP 指標よりも臨床基盤の真偽に近いスコアで意味的類似性評価を大幅に改善できることがわかった。
本研究は,高度専門領域に対するllmによる半定量的推論結果を用いて,テキストデータの意味分析を行う可能性を示す。
このフレームワークはラジオロジーレポートの類似性分析のために実装されているが、その概念は他の専門領域にも拡張することができる。
関連論文リスト
- Comparative Analysis of Open-Source Language Models in Summarizing Medical Text Data [5.443548415516227]
大規模言語モデル(LLM)は,非構造化テキストデータに対する問合せおよび要約処理において,優れた性能を示した。
医用要約タスクにおけるオープンソースのLCMの性能分析のための評価手法を提案する。
論文 参考訳(メタデータ) (2024-05-25T16:16:22Z) - Evaluating Text Summaries Generated by Large Language Models Using OpenAI's GPT [0.6740832660968358]
本研究では,OpenAI の GPT モデルを6つの変圧器モデルから生成したテキスト要約の独立評価器としての有効性について検討する。
ROUGEやLatent Semantic Analysis(LSA)といった従来の指標を用いて、高品質な要約(簡潔さ、妥当性、コヒーレンス、可読性)の本質的特性に基づいて、これらの要約を評価した。
分析の結果,GPTと従来の指標との間に有意な相関が認められた。
論文 参考訳(メタデータ) (2024-05-07T06:52:34Z) - From Model-centered to Human-Centered: Revision Distance as a Metric for Text Evaluation in LLMs-based Applications [26.857056013032263]
大規模言語モデル(LLM)の評価は、特に実践的な応用の文脈において、基本的なものである。
我々の研究は、AIを活用した筆記支援システムの文脈において、モデル中心から人中心評価に焦点を移す。
論文 参考訳(メタデータ) (2024-04-10T15:46:08Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text
Summaries [62.32403630651586]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳(メタデータ) (2024-03-01T21:59:03Z) - Expanding Horizons in HCI Research Through LLM-Driven Qualitative
Analysis [3.5253513747455303]
大規模言語モデル(LLM)を用いたHCIにおける定性解析の新しいアプローチを提案する。
以上の結果から,LSMは従来の解析手法と一致しただけでなく,ユニークな知見も得られることが示唆された。
論文 参考訳(メタデータ) (2024-01-07T12:39:31Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳(メタデータ) (2023-04-17T17:13:42Z) - Always Keep your Target in Mind: Studying Semantics and Improving
Performance of Neural Lexical Substitution [124.99894592871385]
本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。
目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
論文 参考訳(メタデータ) (2022-06-07T16:16:19Z) - A Dynamic, Interpreted CheckList for Meaning-oriented NLG Metric
Evaluation -- through the Lens of Semantic Similarity Rating [19.33681537640272]
我々は,意味関連言語現象を中心に組織されたNLGメトリクスのチェックリストを開発した。
各テストインスタンスは、AMRグラフを持つ一対の文と、人間が生成したテキストの意味的類似性または関連性スコアから構成される。
本稿では,AMR の概念よりも語彙的凝集グラフを計算できる新しい指標 GraCo を設計し,CheckList の有用性を実証する。
論文 参考訳(メタデータ) (2022-05-24T16:19:32Z) - A Comparative Study of Lexical Substitution Approaches based on Neural
Language Models [117.96628873753123]
本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。
目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
論文 参考訳(メタデータ) (2020-05-29T18:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。