論文の概要: Zero-Shot Statistical Tests for LLM-Generated Text Detection using Finite Sample Concentration Inequalities

• arxiv url: http://arxiv.org/abs/2501.02406v3
• Date: Sat, 12 Apr 2025 18:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 00:15:57.243247
• Title: Zero-Shot Statistical Tests for LLM-Generated Text Detection using Finite Sample Concentration Inequalities
• Title（参考訳）: 有限濃度不等式を用いたLLMテキスト検出のためのゼロショット統計的テスト
• Authors: Tara Radvand, Mojtaba Abdolmaleki, Mohamed Mostagir, Ambuj Tewari,
• Abstract要約: コンテンツの証明は、教育機関、ソーシャルメディアプラットフォーム、企業など、多くの組織の機能に不可欠である。 LLM(Large Language Models)が生成するテキストが、人間が生成したコンテンツとほとんど区別できないようになるにつれて、この問題はますます難しくなってきている。 テキスト長の増加に伴い,テストのI型およびII型エラーが指数関数的に減少することを示す。 我々の研究は、有害または偽のLCM生成テキストの起源を確実に発見することを可能にし、新たなAI規制に対する誤った情報やコンプライアンスに対抗するのに役立ちます。
• 参考スコア（独自算出の注目度）: 13.657259851747126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verifying the provenance of content is crucial to the function of many organizations, e.g., educational institutions, social media platforms, firms, etc. This problem is becoming increasingly challenging as text generated by Large Language Models (LLMs) becomes almost indistinguishable from human-generated content. In addition, many institutions utilize in-house LLMs and want to ensure that external, non-sanctioned LLMs do not produce content within the institution. We answer the following question: Given a piece of text, can we identify whether it was produced by LLM $A$ or $B$ (where $B$ can be a human)? We model LLM-generated text as a sequential stochastic process with complete dependence on history and design zero-shot statistical tests to distinguish between (i) the text generated by two different sets of LLMs $A$ (in-house) and $B$ (non-sanctioned) and also (ii) LLM-generated and human-generated texts. We prove that our tests' type I and type II errors decrease exponentially as text length increases. For designing our tests for a given string, we demonstrate that if the string is generated by the evaluator model $A$, the log-perplexity of the string under $A$ converges to the average entropy of the string under $A$, except with an exponentially small probability in the string length. We also show that if $B$ generates the text, except with an exponentially small probability in string length, the log-perplexity of the string under $A$ converges to the average cross-entropy of $B$ and $A$. For our experiments: First, we present experiments using open-source LLMs to support our theoretical results, and then we provide experiments in a black-box setting with adversarial attacks. Practically, our work enables guaranteed finding of the origin of harmful or false LLM-generated text, which can be useful for combating misinformation and compliance with emerging AI regulations.
• Abstract（参考訳）: コンテンツの有効性を検証することは、教育機関、ソーシャルメディアプラットフォーム、企業など、多くの組織の機能にとって不可欠である。 LLM(Large Language Models)が生成するテキストが、人間が生成したコンテンツとほとんど区別できないようになるにつれて、この問題はますます難しくなってきている。 さらに、多くの機関が社内のLLMを利用して、外部の無許可のLLMが施設内でコンテンツを生成しないようにしたいと望んでいる。 LLM $A$か$B$($B$は人間になれる)で作成されたかどうかを特定できますか? 我々は LLM 生成テキストを履歴に完全に依存した逐次確率過程としてモデル化し、ゼロショット統計試験を設計して区別する。 i) LLM の 2 つの異なるセット $A$ (社内) と $B$ (非認可) によって生成されるテキスト。 (ii) LLM 生成及び人為的生成テキスト。 テキスト長の増加に伴い,テストのI型とII型エラーが指数関数的に減少することが証明された。 与えられた文字列に対するテストの設計において、文字列が評価子モデル$A$によって生成される場合、$A$以下の文字列の対数複雑度は、文字列長の指数的に小さな確率を除いて、$A$以下の文字列の平均エントロピーに収束する。 また、$B$が文字列長の指数的に小さい確率を除いてテキストを生成する場合、$A$以下の文字列の対数複雑度は、$B$と$A$の平均クロスエントロピーに収束することを示す。 まず,我々の理論的結果を支援するためにオープンソースのLCMを用いて実験を行い,敵攻撃を伴うブラックボックス環境で実験を行った。 我々の研究は、有害または偽のLCM生成テキストの起源を確実に発見することを可能にし、新たなAI規制に対する誤った情報やコンプライアンスに対抗するのに役立ちます。

関連論文リスト

• Does a Large Language Model Really Speak in Human-Like Language? [0.5735035463793009]
  大規模言語モデル(LLM)が最近登場し、非常に自然で人間らしいテキストを生成する能力によって、かなりの注目を集めている。 本研究では,LLM生成テキストと人文テキストの潜在コミュニティ構造を比較した。 以上の結果から,GPT生成テキストは人為的なテキストとは相変わらず異なることが示唆された。
  論文  参考訳（メタデータ） (2025-01-02T14:13:44Z)
• Reasoning Robustness of LLMs to Adversarial Typographical Errors [49.99118660264703]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトを使用した推論において、印象的な機能を示している。 本研究では,LLMのタイポグラフィ的誤りに対するロバスト性について検討する。 我々は,クエリに重要な単語の型を反復的にサンプリングし,攻撃に成功しそうな編集を選択する,Adversarial Typo Attack(texttATA$)アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-11-08T05:54:05Z)
• Which LLMs are Difficult to Detect? A Detailed Analysis of Potential Factors Contributing to Difficulties in LLM Text Detection [43.66875548677324]
  我々は、不均衡なデータセットで分類器を訓練するためにLibAUCライブラリを使用してAIGテキスト分類器を訓練する。 We results in the Deepfake Text dataset shows that AIG-text detection are various across domain。 学生エッセイに焦点をあてたIvy Pandaデータセットでは, LLMのOpenAIファミリは, 分類者が人文と区別することが極めて困難であった。
  論文  参考訳（メタデータ） (2024-10-18T21:42:37Z)
• Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
  本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。 我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
  論文  参考訳（メタデータ） (2024-06-18T21:31:19Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  我々は,人文テキストがLLM生成テキストよりも文法的誤りを多く含んでいるという観察に基づく,シンプルで効果的なブラックボックスゼロショット検出手法を提案する。 実験結果から,本手法はゼロショット法や教師あり手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• Turbulence: Systematically and Automatically Testing Instruction-Tuned Large Language Models for Code [11.194047962236793]
  本稿では,新しいベンチマークである乱流を用いて,命令調整型大規模言語モデル(LLM)のコード生成における正確性と堅牢性を評価する手法を提案する。 乱流は、多数の自然言語の$textitquestion templates$から成り、それぞれがプログラミングの問題であり、様々な形式で問うことができるようにパラメータ化されている。 単一の質問テンプレートから、LLM に $textitneighbourhood$ と非常によく似たプログラミング質問を問うことができ、各質問に対して返された結果の正しさを評価することができる。
  論文  参考訳（メタデータ） (2023-12-22T17:29:08Z)
• Do large language models and humans have similar behaviors in causal inference with script knowledge? [13.140513796801915]
  スクリプトベースのストーリーでイベントの処理をB$で研究する。 私たちの操作では、Event $A$は、テキストの以前のセクションで記述、無効化、または省略されます。
  論文  参考訳（メタデータ） (2023-11-13T13:05:15Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)
• Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
  大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。 LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。 重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:23:46Z)
• DPIC: Decoupling Prompt and Intrinsic Characteristics for LLM Generated Text Detection [56.513637720967566]
  大規模言語モデル(LLM)は、盗作、eコマースプラットフォームへの偽レビューの設置、炎症性偽ツイートなどの誤用のリスクを引き起こすテキストを生成することができる。 既存の高品質な検出手法では、本質的な特徴を抽出するために、モデルの内部にアクセスする必要がある。 ブラックボックスモデル生成テキストの深い内在特性を抽出する。
  論文  参考訳（メタデータ） (2023-05-21T17:26:16Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。