論文の概要: Domain-Specific Hallucination Detection in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.11878v1
• Date: Thu, 10 Sep 2026 17:45:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.474478
• Title: Domain-Specific Hallucination Detection in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける領域特異的幻覚検出
• Abstract要約: 大規模言語モデルは、不誠実なクレームを含むことができる流動的なテキストを生成する。 微調整されたDeBERTa-v3分類, Monte Carlo (MC) Dropoutの不確実性定量化を組み合わせた多信号検出パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models generate fluent text that can contain unfaithful claims -- a phenomenon known as hallucination. We present a multi-signal detection pipeline combining fine-tuned DeBERTa-v3 classification, Monte Carlo (MC) Dropout uncertainty quantification, and temperature-scaled calibration for response-level hallucination detection. Evaluated on the HaluEval benchmark, our pipeline achieves F1=0.915 and AUROC=0.977 on general-domain tasks, with per-task F1 scores of 0.97 (QA), 0.96 (Summarization), and 0.82 (Dialogue). MC Dropout inference further improves accuracy to 93.2%. A context ablation study confirms the model performs genuine entailment reasoning rather than exploiting surface patterns, with summarization F1 dropping 24% when knowledge context is removed. Learning curve analysis reveals that 25% of training data captures 77% of full-data performance. Beyond detection, we apply Direct Preference Optimization (DPO) to a Qwen2.5-0.5B generator, reducing its hallucination rate from 85.5% to 37.7% (55.9% relative reduction) as measured by our detector. Cross-domain evaluation on the SciFact biomedical benchmark shows that general-domain training transfers poorly (F1=0.52), motivating domain-specific fine-tuning. PubMedBERT fine-tuned on SciFact achieves F1=0.63 and AUROC=0.81, demonstrating that domain-matched pre-training is the strongest adaptation strategy. Code and models are available at https://github.com/varunteja99/hallucination-detection-nlp
• Abstract（参考訳）: 大規模な言語モデルは、幻覚として知られる不誠実なクレームを含むような、流動的なテキストを生成する。 微調整DeBERTa-v3分類,モンテカルロ(MC)ドロップアウト不確実性定量化,および応答レベルの幻覚検出のための温度スケールキャリブレーションを組み合わせた多信号検出パイプラインを提案する。 HaluEvalベンチマークで評価したところ、我々のパイプラインは一般ドメインタスクにおいてF1=0.915とAUROC=0.977を達成し、タスクごとのF1スコアは0.97(QA)、0.96(要約)、0.82(ダイアログ)である。 MCドロップアウト推論は精度をさらに93.2%向上させる。 文脈アブレーション研究は、このモデルが表面パターンを活用せず、真のエンテリメント推論を行い、知識コンテキストが削除された場合、要約F1は24%減少することを確認した。 学習曲線分析により、トレーニングデータの25%が、フルデータのパフォーマンスの77%をキャプチャしていることが明らかになった。 検出の他に、Qwen2.5-0.5Bジェネレータに直接選好最適化(DPO)を適用し、検出器によって測定された幻覚率を85.5%から37.7%(55.9%)に下げる。 SciFactバイオメディカルベンチマークのクロスドメイン評価は、ドメイン固有の微調整を動機付ける一般ドメイントレーニングの転送が不十分であることを示している(F1=0.52)。 SciFact上で微調整されたPubMedBERTはF1=0.63とAUROC=0.81を達成する。 コードとモデルはhttps://github.com/varunteja99/hallucination-detection-nlpで公開されている。

関連論文リスト

• Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2 [0.0]
  メンバーシップ推論攻撃(MIA)は、モデルをトレーニングするために特定のレコードが使用されたかどうかを判断しようとする。 本稿では,GLUE SST-2感情データセットを用いたテキスト分類におけるメンバシップ推定脆弱性のベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-09-10T00:53:20Z)
• AnomalyGen: Enhancing Log-Based Anomaly Detection with Code-Guided Data Augmentation [42.87177529900358]
  AnomalyGenは、ラベル付きログシーケンスをソースコードから合成することによってトレーニングデータを増強する新しいフレームワークである。 12のさまざまな異常検出モデルに対するHDFSとZookeeperの評価は、AnomalyGenが一貫してパフォーマンスを改善していることを示している。
  論文  参考訳（メタデータ） (2026-04-13T07:24:43Z)
• Hierarchy-Guided Topology Latent Flow for Molecular Graph Generation [44.50339042016925]
  本稿では,グローバルコンテキストに対する潜在的マルチスケールプランを用いた3次元座標を用いた結合グラフを生成するプランナー・エグゼクタモデルを提案する。 HLTFは98.8%の原子安定性と92.9%の有効・均一性を達成し、PoseBustersの妥当性は94.0%(+0.9)に向上した。 GEOM-DRUGSでは、HLTFは後処理なしで85.5%/85.0%の妥当性/バリッド・ユニク・ノーベル、標準化された緩和後の92.2%/91.2%を達成している。
  論文  参考訳（メタデータ） (2026-03-28T03:48:13Z)
• Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models [0.8552050317027305]
  大規模言語モデル(LLM)における幻覚は、高レベルのデプロイメントにとって重要な障壁である。 ニューロサイエンスにインスパイアされた信号設計と教師付き機械学習を組み合わせたハイブリッド検出フレームワークである[Model Name]を紹介する。
  論文  参考訳（メタデータ） (2026-01-22T05:00:21Z)
• Generalization Gaps in Political Fake News Detection: An Empirical Study on the LIAR Dataset [0.764671395172401]
  LIARベンチマークを用いて,9つの機械学習アルゴリズムの診断評価を行った。 モデルの重み付きF1スコアを超えないきめ細かい分類の「パフォーマンスシーリング」を発見した。 木に基づくアンサンブルの大規模な"一般化ギャップ"は、99%以上のトレーニング精度を達成したが、テストデータで約25%に崩壊した。
  論文  参考訳（メタデータ） (2025-12-20T23:08:18Z)
• Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92% [4.693270291878929]
  大規模言語モデル(LLMs)は、流動的だがサポートされていない答え、幻覚を生み出す。 ECLIPSEは,モデルの意味エントロピーと利用可能な証拠の容量とのミスマッチとして幻覚を扱うフレームワークである。
  論文  参考訳（メタデータ） (2025-12-02T05:25:48Z)
• CRTRE: Causal Rule Generation with Target Trial Emulation Framework [47.2836994469923]
  ターゲットトライアルエミュレーションフレームワーク(CRTRE)を用いた因果ルール生成という新しい手法を提案する。 CRTREは、アソシエーションルールの因果効果を推定するためにランダム化トライアル設計原則を適用している。 次に、病気発症予測などの下流アプリケーションにそのような関連ルールを組み込む。
  論文  参考訳（メタデータ） (2024-11-10T02:40:06Z)
• Enhancing Diagnostic Reliability of Foundation Model with Uncertainty Estimation in OCT Images [41.002573031087856]
  光コヒーレンストモグラフィー(OCT)における11個の網膜状態を検出するために,不確実性推定(FMUE)を用いた基礎モデルを開発した。 FMUEは2つの最先端アルゴリズムであるRETFoundとUIOSよりも96.76%高いF1スコアを獲得し、しきい値戦略を98.44%に改善した。 我々のモデルは、F1スコアが高い2人の眼科医(95.17%対61.93% &71.72%)より優れている。
  論文  参考訳（メタデータ） (2024-06-18T03:04:52Z)
• RULSurv: A probabilistic survival-based method for early censoring-aware prediction of remaining useful life in ball bearings [39.58317527488534]
  Kullback-Leibler分散とRUL推定を用いた早期故障検出のための新しいフレキシブルな手法を提案する。 我々は,XJTU-SYデータセットにおいて,3つの異なる操作条件にまたがる5倍のクロスバリデーション戦略を用いてアプローチを実証する。 提案手法は,最大荷重下での5軸受の平均累積相対精度(CRA)を0.7586で達成し,複数の最先端ベースラインを改良する。
  論文  参考訳（メタデータ） (2024-05-02T16:17:29Z)
• Predicting Overtakes in Trucks Using CAN Data [51.28632782308621]
  CANデータからトラックの積載量の検出について検討する。 私たちの分析では、オーバーテイクイベントの最大10秒前をカバーしています。 我々は、オーバーテイク・トリガーに近づくと、オーバーテイク・クラスの予測スコアが増加する傾向にあることを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:58:22Z)
• A Federated Learning Framework for Stenosis Detection [70.27581181445329]
  本研究は,冠動脈造影画像(CA)の狭窄検出におけるFL(Federated Learning)の使用について検討した。 アンコナのOspedale Riuniti(イタリア)で取得した200人の患者1219枚の画像を含む2施設の異種データセットについて検討した。 データセット2には、文献で利用可能な90人の患者からの7492のシーケンシャルな画像が含まれている。
  論文  参考訳（メタデータ） (2023-10-30T11:13:40Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。