Fugu-MT 論文翻訳(概要): Blinded Radiologist and LLM-Based Evaluation of LLM-Generated Japanese Translations of Chest CT Reports: Comparative Study

論文の概要: Blinded Radiologist and LLM-Based Evaluation of LLM-Generated Japanese Translations of Chest CT Reports: Comparative Study

arxiv url: http://arxiv.org/abs/2604.02207v1
Date: Thu, 02 Apr 2026 15:59:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-03 14:21:10.90683
Title: Blinded Radiologist and LLM-Based Evaluation of LLM-Generated Japanese Translations of Chest CT Reports: Comparative Study
Title（参考訳）: LLMによる胸部CTの日本語翻訳のブラインドドラジオロジーとLCMによる評価 : 比較検討
Abstract要約: 今回,CT-RATE-JPNによる150例の胸部CT所見について検討した。英語のレポートでは、DeepSeek-V3.2によるLLMによる日本語翻訳と比較された。専門の放射線科医と放射線科医は,専門用語の正確性,可読性,総合的品質,放射線学スタイルの信頼性の4つの基準において,個別に視覚的一対評価を行った。
参考スコア（独自算出の注目度）: 0.0177677587528917
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Background: Accurate translation of radiology reports is important for multilingual research, clinical communication, and radiology education, but the validity of LLM-based evaluation remains unclear. Objective: To evaluate the educational suitability of LLM-generated Japanese translations of chest CT reports and compare radiologist assessments with LLM-as-a-judge evaluations. Methods: We analyzed 150 chest CT reports from the CT-RATE-JPN validation set. For each English report, a human-edited Japanese translation was compared with an LLM-generated translation by DeepSeek-V3.2. A board-certified radiologist and a radiology resident independently performed blinded pairwise evaluations across 4 criteria: terminology accuracy, readability, overall quality, and radiologist-style authenticity. In parallel, 3 LLM judges (DeepSeek-V3.2, Mistral Large 3, and GPT-5) evaluated the same pairs. Agreement was assessed using QWK and percentage agreement. Results: Agreement between radiologists and LLM judges was near zero (QWK=-0.04 to 0.15). Agreement between the 2 radiologists was also poor (QWK=0.01 to 0.06). Radiologist 1 rated terminology as equivalent in 59% of cases and favored the LLM translation for readability (51%) and overall quality (51%). Radiologist 2 rated readability as equivalent in 75% of cases and favored the human-edited translation for overall quality (40% vs 21%). All 3 LLM judges strongly favored the LLM translation across all criteria (70%-99%) and rated it as more radiologist-like in >93% of cases. Conclusions: LLM-generated translations were often judged natural and fluent, but the 2 radiologists differed substantially. LLM-as-a-judge showed strong preference for LLM output and negligible agreement with radiologists. For educational use of translated radiology reports, automated LLM-based evaluation alone is insufficient; expert radiologist review remains important.
Abstract（参考訳）: 背景: 多言語研究, 臨床コミュニケーション, 放射線学教育において, 正確な放射線学報告の翻訳が重要であるが, LLMによる評価の有効性は明らかでない。目的: 胸部CT画像の日本語翻訳の教育的適合性を評価し, 放射線学的評価とLCM-as-a-judge評価を比較した。方法: CT-RATE-JPN 検査セットから150例の胸部CT所見を解析した。英語のレポートでは、DeepSeek-V3.2によるLLMによる日本語翻訳と比較された。専門の放射線科医と放射線科医は,専門用語の正確性,可読性,総合的品質,放射線学スタイルの信頼性の4つの基準において,個別に視覚的一対評価を行った。並行して、3人のLLM審査員(DeepSeek-V3.2、Mistral Large 3、GPT-5)が同じペアを評価した。合意はQWKとパーセンテージ契約を用いて評価された。結果: 放射線技師とLLM判事の合意は, ほぼゼロ(QWK=-0.04～0.15)であった。 2人の放射線学者の合意も不十分であった(QWK=0.01から0.06)。放射線技師1は59%の症例で用語を同等と評価し,可読性(51%)と全体的な品質(51%)のLLM翻訳を好んだ。放射線学者2人は、可読性は75%の症例で同等と評価し、全体的な品質(40%対21%)で人文翻訳を好んだ。 LLMの3人の審査員は、全ての基準(70%-99%)でLSM翻訳を強く好んでおり、93%の症例では放射線科に類似していると評価した。結論: LLMが生成した翻訳は自然で流動的であると判断されることが多いが、2人の放射線学者は著しく異なる。 LLM-as-a-judge は LLM の出力を強く好ましく, 放射線学者との合意が得られなかった。翻訳放射線学レポートの教育的利用には,LSMによる自動評価だけでは不十分である。

関連論文リスト

Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文参考訳（メタデータ） (2026-06-17T08:10:30Z)
VERT: Reliable LLM Judges for Radiology Report Evaluation [4.257039323799664]
専門家とLLMに基づく評価の相関分析を行う。 VERTはGREENと比較して、放射線学者の判断との相関を最大11.7%改善する。微調整のQwen3 30Bは1,300のトレーニングサンプルを使用して最大25%の利得を得る。
論文参考訳（メタデータ） (2026-04-03T18:10:21Z)
Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness [49.2667937337333]
不完全な患者の医療反応を検出するために,この仮定をストレステストする。我々は,2つの臨床診断データセットにわたる3つの粒度(General-Likert,Analytical-Rubric,Dynamic-Checklist)と3つのバックボーンモデルを評価する。
論文参考訳（メタデータ） (2026-03-26T19:01:55Z)
MedRECT: A Medical Reasoning Benchmark for Error Correction in Clinical Texts [0.0]
大規模言語モデル (LLM) は医療応用における将来性を示すが, 臨床用テキストにおける誤りの検出と訂正能力は, 未評価のままである。我々は,医療ミス処理を3つのサブタスクとして定式化する言語間ベンチマーク(日本語/英語)であるMedRECTを紹介する。プロプライエタリ、オープンウェイト、理性家族にまたがる9つの現代LSMを評価した。
論文参考訳（メタデータ） (2025-11-01T06:19:34Z)
Semantic Similarity in Radiology Reports via LLMs and NER [1.2489632787815885]
放射線医学報告の評価は放射線医の訓練において重要な部分であり、診断精度の確保に重要な役割を果たしている。予備報告と最終報告のセマンティックな差異を識別することは、訓練ツールとして、臨床知識のギャップを明らかにするためにも不可欠である。放射線学におけるAIは急速に発展している分野であるが、専門知識を必要とするため、大規模言語モデル(LLM)の適用は依然として困難である。 Llama-EntScore は Llama 3.1 と NER の組み合わせとチューナブルウェイトを組み合わせた意味的類似性スコア法である。
論文参考訳（メタデータ） (2025-10-03T15:31:11Z)
MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。 MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
論文参考訳（メタデータ） (2025-05-26T22:55:49Z)
ChestX-Reasoner: Advancing Radiology Foundation Models with Reasoning through Step-by-Step Verification [57.22053411719822]
ChestX-Reasoner(チェストX-Reasoner)は、臨床報告から直接採掘されるプロセスの監督を活用するために設計された放射線診断MLLMである。我々の2段階のトレーニングフレームワークは、モデル推論と臨床標準との整合性を高めるために、プロセス報酬によって指導された教師付き微調整と強化学習を組み合わせる。
論文参考訳（メタデータ） (2025-04-29T16:48:23Z)
Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文参考訳（メタデータ） (2025-03-06T18:35:39Z)
Exploring Multilingual Large Language Models for Enhanced TNM classification of Radiology Report in lung cancer staging [0.055923945039144905]
大型言語モデル(LLM)は、自然言語による放射線学レポートの構造化を自動化することを約束する。本研究の目的は,GPT3.5-turbo (GPT3.5) を用いた放射線学報告に基づくTNM分類の精度と日本語と英語の多言語LPMの有用性を検討することである。
論文参考訳（メタデータ） (2024-06-05T16:11:55Z)
The current status of large language models in summarizing radiology report impressions [13.402769727597812]
大きな言語モデル(LLMs)が放射線学レポートの印象を要約する効果は、まだ不明である。北京大学医学部附属病院からCT,PET-CT,超音波の3種類の放射線学報告を収集した。本報告では,ゼロショット,ワンショット,3ショットのプロンプトを完全な実例で構築し,インプレッションを生成する。
論文参考訳（メタデータ） (2024-06-04T09:23:30Z)
FactPICO: Factuality Evaluation for Plain Language Summarization of Medical Evidence [46.71469172542448]
本稿では,医療用テキストのプレーン言語要約のためのファクトPICOを提案する。 3つのランダム化制御試験(RCT)から生成される抽象語の345のプレーン言語要約で構成されている。本研究は,これらのサマリーにおけるRCTの重要要素の事実と,それらに関する報告された知見について評価する。
論文参考訳（メタデータ） (2024-02-18T04:45:01Z)
Evaluating Large Language Models for Radiology Natural Language Processing [68.98847776913381]
大規模言語モデル(LLM)の台頭は、自然言語処理(NLP)分野における重要な転換点となっている。本研究は, 放射線学報告の解釈において, 30 個の LLM を批判的に評価することにより, このギャップを埋めることを目指している。
論文参考訳（メタデータ） (2023-07-25T17:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。