論文の概要: TempTest: Local Normalization Distortion and the Detection of Machine-generated Text

• arxiv url: http://arxiv.org/abs/2503.20421v1
• Date: Wed, 26 Mar 2025 10:56:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:27.289078
• Title: TempTest: Local Normalization Distortion and the Detection of Machine-generated Text
• Title（参考訳）: TempTest: 局所正規化歪みと機械生成テキストの検出
• Authors: Tom Kempton, Stuart Burrell, Connor Cheverall,
• Abstract要約: 本稿では,生成言語モデルに完全に依存した機械生成テキストを検出する手法を提案する。 これは、温度やトップkサンプリングのようなデコード戦略が条件付き確率測度を正規化する方法の欠陥を目標にすることで達成される。 我々は,様々な言語モデル,データセット,通過距離の異なる,白と黒のボックス設定での検出器の評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Existing methods for the zero-shot detection of machine-generated text are dominated by three statistical quantities: log-likelihood, log-rank, and entropy. As language models mimic the distribution of human text ever closer, this will limit our ability to build effective detection algorithms. To combat this, we introduce a method for detecting machine-generated text that is entirely agnostic of the generating language model. This is achieved by targeting a defect in the way that decoding strategies, such as temperature or top-k sampling, normalize conditional probability measures. This method can be rigorously theoretically justified, is easily explainable, and is conceptually distinct from existing methods for detecting machine-generated text. We evaluate our detector in the white and black box settings across various language models, datasets, and passage lengths. We also study the effect of paraphrasing attacks on our detector and the extent to which it is biased against non-native speakers. In each of these settings, the performance of our test is at least comparable to that of other state-of-the-art text detectors, and in some cases, we strongly outperform these baselines.
• Abstract（参考訳）: 機械生成テキストのゼロショット検出のための既存の方法は、ログライクリフ、ログランク、エントロピーの3つの統計量で支配されている。 言語モデルは人間のテキストの分布をより近くまで模倣するので、効率的な検出アルゴリズムを構築する能力は制限される。 これに対抗するために、生成言語モデルに完全に依存しない機械生成テキストを検出する方法を提案する。 これは、温度やトップkサンプリングのようなデコード戦略が条件付き確率測度を正規化する方法の欠陥を目標にすることで達成される。 この方法は理論的に厳密に正当化することができ、説明が容易であり、機械生成テキストを検出する既存の方法と概念的に異なる。 我々は,様々な言語モデル,データセット,通過距離の異なる,白と黒のボックス設定での検出器の評価を行った。 また, パラフレーズ攻撃が検出器に与える影響と, 非ネイティブ話者に対する偏見の程度についても検討した。 それぞれの設定において、テストのパフォーマンスは他の最先端のテキスト検出器と少なくとも同等であり、場合によってはこれらのベースラインを強く上回る。

関連論文リスト

• ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability [62.285407189502216]
  LLM(Large Language Models)によって生成されたテキストの検出は、誤った判断によって致命的な誤りを引き起こす可能性がある。 本稿では,人間の意思決定プロセスに根ざした解釈可能な検出手法であるExaGPTを紹介する。 以上の結果から,ExaGPTは従来の強力な検出器よりも最大で40.9ポイントの精度を1%の偽陽性率で大きく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T01:15:07Z)
• Adversarial Attacks on AI-Generated Text Detection Models: A Token Probability-Based Approach Using Embeddings [14.150011713654331]
  本研究では,Fast-DetectGPTなどの検出モデルに対する新たなテキスト逆攻撃を提案する。 この手法では、AI生成したテキストの再構築を目的として、データ摂動の埋め込みモデルを用いて、テキストの真の起源を検出する可能性を低減する。
  論文  参考訳（メタデータ） (2025-01-31T10:06:27Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• ESPERANTO: Evaluating Synthesized Phrases to Enhance Robustness in AI Detection for Text Origination [1.8418334324753884]
  本稿では,検出を回避する新しい手法としてバックトランスレーションを紹介する。 本稿では、これらの裏書きされたテキストを組み合わせて、オリジナルのAI生成テキストの操作されたバージョンを生成するモデルを提案する。 我々は,この手法を,オープンソースと3つのプロプライエタリシステムを含む9つのAI検出器上で評価する。
  論文  参考訳（メタデータ） (2024-09-22T01:13:22Z)
• Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection [0.0]
  そこで本研究では,機械が生成したテキストを,そこから派生した大きな言語モデルが未知の場合に検出する問題について検討する。 生成型(またはベース)言語モデルと識別型(またはスコアリング型)言語モデルとが同一である場合に高い精度で、ゼロショットモデルを用いてテキスト検出を行う。
  論文  参考訳（メタデータ） (2024-06-18T12:58:01Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)
• A Deep Learning Anomaly Detection Method in Textual Data [0.45687771576879593]
  本稿では,従来の機械学習アルゴリズムと組み合わせたディープラーニングとトランスフォーマーアーキテクチャを提案する。 我々は、異常を予測するために、文変換器、オート、ロジスティック回帰、距離計算など、複数の機械学習手法を使用した。
  論文  参考訳（メタデータ） (2022-11-25T05:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。