論文の概要: MedFabric and EtHER: A Data-Centric Framework for Word-Level Fabrication Generation and Detection in Medical LLMs
- arxiv url: http://arxiv.org/abs/2605.04180v1
- Date: Tue, 05 May 2026 18:19:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.479777
- Title: MedFabric and EtHER: A Data-Centric Framework for Word-Level Fabrication Generation and Detection in Medical LLMs
- Title(参考訳): MedFabricとEtHER:医療用LLMにおける単語レベル生成と検出のためのデータ中心フレームワーク
- Authors: Tung Sum Thomas Kwok, Qian Qian, Xiaofeng Lin, Dongxu Zhang, Jun Han, Zhichao Yang, Davin Hill, Tamer Soliman, Sanjit Singh Batra, Robert Tillman, Guang Cheng,
- Abstract要約: 大規模言語モデルは、強い推論と意味理解能力を示すが、しばしば専門知識を必要とする領域に幻覚を与える。
既存の幻覚データセットは、製造範囲が限られているため、製造現象を適切に捉えていない。
そこで本研究では,構文的・形式的忠実さを保ちつつ,微妙な事実偏差を導入しながら,現実的・単語レベルでのファブリケーションを生成するデータ中心パイプラインを提案する。
- 参考スコア(独自算出の注目度): 12.12011377061179
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models exhibit strong reasoning and semantic understanding capabilities but often hallucinate in domains that require expert knowledge, among which fabrications, the generation of factually incorrect yet fluent statements, pose the greatest risk in medical contexts. Existing medical hallucination datasets inadequately capture fabrication phenomena due to limited fabrication coverage, stylistic disparities between human and LLM-authored texts, and distributional drift during hallucinated sample synthesis. To address this, we propose a data-centric pipeline to generate realistic and word-level fabrications that preserve syntactic and stylistic fidelity while introducing subtle factual deviations, resulting in MedFabric. Building upon this dataset, we introduce ETHER, a modular word-level fabrication detector integrating Text2Table Decomposition, Word Masking and Filling and Hybrid Sentence Pair Evaluation to enhance factual alignment. Empirical results demonstrate that MedFabric outperforms state-of-the-art detectors by over 15% on word-level fabrication benchmarks while maintaining consistent performance across structural similarities, offering a comprehensive framework for reliable and domain-specific factuality detection.
- Abstract(参考訳): 大きな言語モデルは、強い推論と意味理解能力を示すが、しばしば専門知識を必要とする領域で幻覚を与える。
既存の幻覚データセットは、製造範囲が限られていること、人間とLLMによるテキスト間のスタイリスティックな相違、および幻覚標本合成中の分布のドリフトにより、製造現象を適切に捉えていない。
そこで本研究では,データ中心のパイプラインを用いて,構文的・スタイリスティックな忠実さを保ちつつ,微妙な事実差を導入し,MedFabricを実現する。
このデータセットに基づいて,Text2Table Decomposition,Word Masking and Filling,Hybrid Sentence Pair Evaluationを統合するモジュール型ワードレベルの製造検出器ETHERを導入する。
実験結果によると、MedFabricは単語レベルの製造ベンチマークにおいて15%以上の精度で最先端の検出器を性能良くし、構造的類似性に対して一貫した性能を維持し、信頼性とドメイン固有の事実検出のための包括的なフレームワークを提供する。
関連論文リスト
- Hallucination Mitigating for Medical Report Generation [19.773914014955746]
ファイングラインドされたtextbfReinforced Rewards textbfMedical Report Generation (KERM) を用いた textbfKnowledge-textbf フレームワークを提案する。
本手法は,MedCLIPを知識検索に活用することによりLVLMへの入力を改良し,キュレートされた知識コーパスから関連する病変事実文を取り入れた。
次に,検索した知識が患者の臨床的文脈とコンテキスト的に関連していることを保証するために,新たな浄化モジュールを導入する。
論文 参考訳(メタデータ) (2026-01-22T08:13:59Z) - DeepSynth-Eval: Objectively Evaluating Information Consolidation in Deep Survey Writing [53.85037373860246]
本稿では,情報統合能力を客観的に評価するためのベンチマークであるDeep Synth-Evalを紹介する。
一般チェックリスト(実例)と制約チェックリスト(構造体)を用いたきめ細かい評価プロトコルを提案する。
その結果,エージェント型プラン・アンド・ライトは単ターン生成よりも大幅に優れていた。
論文 参考訳(メタデータ) (2026-01-07T03:07:52Z) - Analysis and Evaluation of Synthetic Data Generation in Speech Dysfluency Detection [5.95376852691752]
発声障害の検出は臨床診断と言語評価に不可欠である。
このデータセットは、単語レベルと音素レベルの両方にまたがる11のディスフルエンシカテゴリをキャプチャする。
このリソースを基盤として、エンド・ツー・エンドのディフルエンシ検出フレームワークを改善します。
論文 参考訳(メタデータ) (2025-05-28T06:52:10Z) - Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。
脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。
パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
論文 参考訳(メタデータ) (2025-05-21T05:29:55Z) - Towards Long Context Hallucination Detection [49.195854802543714]
大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。
それらは文脈の幻覚に傾向があり、与えられた文脈に不一致または矛盾した情報を生成する。
本稿では,BERTのような事前学習したエンコーダモデルを用いて,長期のコンテキストを処理し,文脈の幻覚を効果的に検出するアーキテクチャを提案する。
論文 参考訳(メタデータ) (2025-04-28T03:47:05Z) - An Integrated Approach to AI-Generated Content in e-health [0.0]
合成医用画像とテキストデータを生成するためのエンドツーエンドのクラス条件付きフレームワークを提案する。
我々のフレームワークはDiffusion and Large Language Models(LLM)を統合し、現実世界のパターンによくマッチするデータを生成する。
論文 参考訳(メタデータ) (2025-01-18T14:35:29Z) - UHGEval: Benchmarking the Hallucination of Chinese Large Language Models via Unconstrained Generation [18.22773343923806]
大規模言語モデル (LLM) は、現代の自然言語処理において重要な貢献者となっている。
LLMは幻覚テキストをしばしば生成し、その実用性を専門的な文脈で実現している。
最小限の制約で生成した出力をコンパイルするアンコントラスト型幻覚生成評価ベンチマークを開発した。
論文 参考訳(メタデータ) (2023-11-26T13:42:56Z) - Don't Ignore Dual Logic Ability of LLMs while Privatizing: A
Data-Intensive Analysis in Medical Domain [19.46334739319516]
本研究では, LLMの二重論理能力が, 医療領域の民営化過程における影響について検討した。
以上の結果から,LLMに汎用ドメイン二重論理データを組み込むことによって,LLMの二重論理能力が向上するだけでなく,精度も向上することが示唆された。
論文 参考訳(メタデータ) (2023-09-08T08:20:46Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - Lexically-constrained Text Generation through Commonsense Knowledge
Extraction and Injection [62.071938098215085]
我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。
生成したテキストの意味的正しさを高めるための戦略を提案する。
論文 参考訳(メタデータ) (2020-12-19T23:23:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。