論文の概要: DivScore: Zero-Shot Detection of LLM-Generated Text in Specialized Domains

• arxiv url: http://arxiv.org/abs/2506.06705v1
• Date: Sat, 07 Jun 2025 08:03:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.44399
• Title: DivScore: Zero-Shot Detection of LLM-Generated Text in Specialized Domains
• Title（参考訳）: DivScore:特殊ドメインにおけるLCM生成テキストのゼロショット検出
• Authors: Zhihui Chen, Kai He, Yucheng Huang, Yunxiao Zhu, Mengling Feng,
• Abstract要約: DivScoreは、正規化エントロピーに基づくスコアリングとドメイン知識の蒸留を用いたゼロショット検出フレームワークである。 我々は、DivScoreが、AUROCが14.4%、リコールが64.0%、最先端の検出器を一貫して上回っていることを示す。 敵対的な設定では、DivScoreは他のベースラインよりも優れた堅牢性を示し、AUROCでは平均22.8%、リコールでは29.5%の優位性を達成した。
• 参考スコア（独自算出の注目度）: 10.731405596261625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting LLM-generated text in specialized and high-stakes domains like medicine and law is crucial for combating misinformation and ensuring authenticity. However, current zero-shot detectors, while effective on general text, often fail when applied to specialized content due to domain shift. We provide a theoretical analysis showing this failure is fundamentally linked to the KL divergence between human, detector, and source text distributions. To address this, we propose DivScore, a zero-shot detection framework using normalized entropy-based scoring and domain knowledge distillation to robustly identify LLM-generated text in specialized domains. We also release a domain-specific benchmark for LLM-generated text detection in the medical and legal domains. Experiments on our benchmark show that DivScore consistently outperforms state-of-the-art detectors, with 14.4% higher AUROC and 64.0% higher recall (0.1% false positive rate threshold). In adversarial settings, DivScore demonstrates superior robustness than other baselines, achieving on average 22.8% advantage in AUROC and 29.5% in recall. Code and data are publicly available.
• Abstract（参考訳）: 医療や法律などの専門的かつ高度な分野におけるLLM生成テキストの検出は、誤情報と闘い、信頼性を確保するために不可欠である。 しかし、現在のゼロショット検出器は一般的なテキストでは有効であるが、ドメインシフトによって特殊コンテンツに適用された場合、しばしば失敗する。 我々は、この故障が、人、検出器、およびソーステキスト分布間のKLのばらつきと根本的に関連していることを示す理論的解析を行う。 そこで本研究では,正規化エントロピーに基づくスコアリングとドメイン知識の蒸留を用いたゼロショット検出フレームワークであるDivScoreを提案する。 また,医学領域と法領域におけるLLM生成テキスト検出のためのドメイン固有ベンチマークもリリースした。 我々のベンチマーク実験では、DivScoreは14.4%のAUROC、64.0%のリコール(0.1%の偽陽性率閾値)で、常に最先端の検出器を上回っていることが示された。 敵対的な設定では、DivScoreは他のベースラインよりも優れた堅牢性を示し、AUROCでは平均22.8%、リコールでは29.5%の優位性を達成した。 コードとデータは公開されている。

関連論文リスト

• SNaRe: Domain-aware Data Generation for Low-Resource Event Detection [84.82139313614255]
  事象検出は、生物医学、法学、疫学のような高度に専門化された領域での推論を可能にするために重要である。 SNaReは、Scout、Narrator、Refinerの3つのコンポーネントから構成される、ドメイン対応の合成データ生成フレームワークである。 Scoutはラベルのないターゲットドメインデータからトリガーを抽出し、高品質なドメイン固有のトリガーリストをキュレートする。 これらのトリガに条件付けされたナレーターは、高品質なドメイン整列文を生成し、Refinerは追加のイベント参照を識別する。
  論文  参考訳（メタデータ） (2025-02-24T18:20:42Z)
• DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios [38.952481877244644]
  我々は,最新技術(SOTA)検出技術でさえも,このタスクにおいてまだ性能が劣っていることを強調した新しいベンチマークであるTectorRLを提案する。 人気のある大規模言語モデル(LLM)を使用して、実世界のアプリケーションとの整合性を向上するデータを生成しました。 我々は,書式,モデルタイプ,攻撃方法,テキストの長さ,および実世界の人間の筆記因子が,さまざまな種類の検知器に与える影響について分析した。
  論文  参考訳（メタデータ） (2024-10-31T09:01:25Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  我々は,人文テキストがLLM生成テキストよりも文法的誤りを多く含んでいるという観察に基づく,シンプルで効果的なブラックボックスゼロショット検出手法を提案する。 実験結果から,本手法はゼロショット法や教師あり手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search [89.48123965553098]
  本稿では,特殊領域適応問題を緩和する探索システムを提案する。 このシステムは、ドメイン適応型事前学習と数発の学習技術を利用して、ニューラルネットワークがドメインの不一致を軽減するのに役立つ。 本システムでは,TREC-COVID タスクの第2ラウンドにおいて,非マニュアル実行において最善を尽くす。
  論文  参考訳（メタデータ） (2020-11-03T09:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。