論文の概要: IPAD: Inverse Prompt for AI Detection -- A Robust and Explainable LLM-Generated Text Detector

• arxiv url: http://arxiv.org/abs/2502.15902v1
• Date: Fri, 21 Feb 2025 19:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:19.930471
• Title: IPAD: Inverse Prompt for AI Detection -- A Robust and Explainable LLM-Generated Text Detector
• Title（参考訳）: IPAD:AI検出のための逆プロンプト-ロバストで説明可能なLLM生成テキスト検出器
• Authors: Zheng Chen, Yushi Feng, Changyang He, Yue Deng, Hongxi Pu, Bo Li,
• Abstract要約: 大規模言語モデル(LLM)は、人間の書き起こしとLLM生成の区別を複雑にするテキスト生成において、人間レベルの流布を達成している。 既存の検出器は流通外のデータや攻撃されたデータに弱い堅牢性を示しており、これは現実世界のシナリオにとって重要なものである。 本稿では,入力テキストを生成可能な予測プロンプトを識別するPromptと,入力テキストが予測プロンプトとどのように一致しているかを調べるDistinguisherからなる新しいフレームワークであるIPAD(Inverse Prompt for AI Detection)を提案する。
• 参考スコア（独自算出の注目度）: 11.112793289424886
• License:
• Abstract: Large Language Models (LLMs) have attained human-level fluency in text generation, which complicates the distinguishing between human-written and LLM-generated texts. This increases the risk of misuse and highlights the need for reliable detectors. Yet, existing detectors exhibit poor robustness on out-of-distribution (OOD) data and attacked data, which is critical for real-world scenarios. Also, they struggle to provide explainable evidence to support their decisions, thus undermining the reliability. In light of these challenges, we propose IPAD (Inverse Prompt for AI Detection), a novel framework consisting of a Prompt Inverter that identifies predicted prompts that could have generated the input text, and a Distinguisher that examines how well the input texts align with the predicted prompts. We develop and examine two versions of Distinguishers. Empirical evaluations demonstrate that both Distinguishers perform significantly better than the baseline methods, with version2 outperforming baselines by 9.73% on in-distribution data (F1-score) and 12.65% on OOD data (AUROC). Furthermore, a user study is conducted to illustrate that IPAD enhances the AI detection trustworthiness by allowing users to directly examine the decision-making evidence, which provides interpretable support for its state-of-the-art detection results.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の書き起こしとLLM生成の区別を複雑にするテキスト生成において、人間レベルの流布を達成している。 これにより誤用リスクが増大し、信頼性の高い検出器の必要性が強調される。 しかし、既存の検出器は、オフ・オブ・ディストリビューション(OOD)データと攻撃データに弱いロバスト性を示しており、これは現実世界のシナリオにとって重要なものである。 また、彼らの決定を支持するための説明可能な証拠を提供するのに苦労し、それによって信頼性を損なう。 これらの課題を踏まえ、入力テキストを生成可能な予測プロンプトを識別するPrompt Inverterと、入力テキストが予測プロンプトとどの程度うまく一致しているかを調べるDistinguisherからなる新しいフレームワークであるIPAD(Inverse Prompt for AI Detection)を提案する。 識別器の2つのバージョンを開発し,検討する。 実験的な評価では、両ディスティッシュアーはベースライン法よりも大幅に優れており、バージョン2はイン・ディストリビューション・データ(F1スコア)では9.73%、OODデータ(AUROC)では12.65%、ベースラインでは9.73%向上している。 さらに、IPADがAI検出の信頼性を高めるために、ユーザが意思決定の証拠を直接調べることによって、最先端の検知結果に対する解釈可能なサポートを提供する、というユーザスタディも実施されている。

関連論文リスト

• Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection [44.05134959039957]
  本稿では,社会言語学的属性・ジェンダー,CEFR習熟度,学術分野,言語環境に影響を及ぼすAIテキスト検出装置について検討する。 CEFRの習熟度と言語環境は一貫して検出器の精度に影響を与え,性別や学術分野は検出器に依存した効果を示した。 これらの発見は、特定の人口集団に不公平に罰を与えるのを避けるために、社会的に認識されたAIテキストの検出が不可欠であることを示している。
  論文  参考訳（メタデータ） (2025-02-18T07:49:31Z)
• ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability [62.285407189502216]
  LLM(Large Language Models)によって生成されたテキストの検出は、誤った判断によって致命的な誤りを引き起こす可能性がある。 本稿では,人間の意思決定プロセスに根ざした解釈可能な検出手法であるExaGPTを紹介する。 以上の結果から,ExaGPTは従来の強力な検出器よりも最大で40.9ポイントの精度を1%の偽陽性率で大きく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T01:15:07Z)
• ESPERANTO: Evaluating Synthesized Phrases to Enhance Robustness in AI Detection for Text Origination [1.8418334324753884]
  本稿では,検出を回避する新しい手法としてバックトランスレーションを紹介する。 本稿では、これらの裏書きされたテキストを組み合わせて、オリジナルのAI生成テキストの操作されたバージョンを生成するモデルを提案する。 我々は,この手法を,オープンソースと3つのプロプライエタリシステムを含む9つのAI検出器上で評価する。
  論文  参考訳（メタデータ） (2024-09-22T01:13:22Z)
• Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
  我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。 PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。 パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
  論文  参考訳（メタデータ） (2024-05-21T11:22:27Z)
• OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples [44.118047780553006]
  OUTFOXは、LLM生成テキスト検出器の堅牢性を改善するフレームワークであり、検出器と攻撃者の両方が互いの出力を考慮できるようにする。 実験の結果,提案した検出器は攻撃者が生成したテキストの検出性能を最大41.3点F1スコアまで向上させることがわかった。 この検出器は最先端の検知性能を示し、96.9ポイントのF1スコアまで到達し、既存の検出器を非攻撃テキストで打ち負かした。
  論文  参考訳（メタデータ） (2023-07-21T17:40:47Z)
• RADAR: Robust AI-Text Detection via Adversarial Learning [69.5883095262619]
  RADARはパラフラザーと検出器の対向訓練に基づいている。 パラフレーズの目標は、AIテキスト検出を避けるために現実的なコンテンツを生成することである。 RADARは検出器からのフィードバックを使ってパラフラザーを更新する。
  論文  参考訳（メタデータ） (2023-07-07T21:13:27Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。