論文の概要: Zero-Shot Statistical Tests for LLM-Generated Text Detection using Finite Sample Concentration Inequalities

• arxiv url: http://arxiv.org/abs/2501.02406v2
• Date: Wed, 22 Jan 2025 02:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:42:35.537765
• Title: Zero-Shot Statistical Tests for LLM-Generated Text Detection using Finite Sample Concentration Inequalities
• Title（参考訳）: 有限濃度不等式を用いたLLMテキスト検出のためのゼロショット統計的テスト
• Authors: Tara Radvand, Mojtaba Abdolmaleki, Mohamed Mostagir, Ambuj Tewari,
• Abstract要約: その結果,本試験におけるI型およびII型エラーはテキスト長で指数関数的に減少することがわかった。 文字列が$A$で生成される場合、$A$以下の文字列の対数複雑度は、文字列長の指数的に小さい確率を除いて、$A$以下の文字列の平均エントロピーに収束することを示す。
• 参考スコア（独自算出の注目度）: 13.657259851747126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verifying the provenance of content is crucial to the function of many organizations, e.g., educational institutions, social media platforms, firms, etc. This problem is becoming increasingly difficult as text generated by Large Language Models (LLMs) becomes almost indistinguishable from human-generated content. In addition, many institutions utilize in-house LLMs and want to ensure that external, non-sanctioned LLMs do not produce content within the institution. In this paper, we answer the following question: Given a piece of text, can we identify whether it was produced by LLM $A$ or $B$ (where $B$ can be a human)? We model LLM-generated text as a sequential stochastic process with complete dependence on history and design zero-shot statistical tests to distinguish between (i) the text generated by two different sets of LLMs $A$ (in-house) and $B$ (non-sanctioned) and also (ii) LLM-generated and human-generated texts. We prove that the type I and type II errors for our tests decrease exponentially in the text length. In designing our tests, we derive concentration inequalities on the difference between log-perplexity and the average entropy of the string under $A$. Specifically, for a given string, we demonstrate that if the string is generated by $A$, the log-perplexity of the string under $A$ converges to the average entropy of the string under $A$, except with an exponentially small probability in string length. We also show that if $B$ generates the text, except with an exponentially small probability in string length, the log-perplexity of the string under $A$ converges to the average cross-entropy of $B$ and $A$. Lastly, we present preliminary experimental results to support our theoretical results. By enabling guaranteed (with high probability) finding of the origin of harmful LLM-generated text with arbitrary size, we can help combat misinformation.
• Abstract（参考訳）: コンテンツの有効性を検証することは、教育機関、ソーシャルメディアプラットフォーム、企業など、多くの組織の機能にとって不可欠である。 LLM(Large Language Models)が生成するテキストが、人間が生成したコンテンツとほとんど区別できないようになるにつれて、この問題はますます難しくなってきている。 さらに、多くの機関が社内のLLMを利用して、外部の無許可のLLMが施設内でコンテンツを生成しないようにしたいと望んでいる。 LLM $A$か$B$で作られたのか($B$は人間になれるのか)を特定できますか? 我々は LLM 生成テキストを履歴に完全に依存した逐次確率過程としてモデル化し、ゼロショット統計試験を設計して区別する。 i) LLM の 2 つの異なるセット $A$ (社内) と $B$ (非認可) によって生成されるテキスト。 (ii) LLM 生成及び人為的生成テキスト。 本試験のタイプIとタイプIIの誤差はテキスト長で指数関数的に減少することが証明された。 実験を設計する際には, 対数複雑度と平均エントロピーの差に対する濃度不等式を$A$で導出する。 具体的には、与えられた文字列に対して、文字列が$A$で生成される場合、$A$以下の文字列の対数複雑度は、文字列長の指数的に小さい確率を除いて、$A$以下の文字列の平均エントロピーに収束することを示す。 また、$B$が文字列長の指数的に小さい確率を除いてテキストを生成する場合、$A$以下の文字列の対数複雑度は、$B$と$A$の平均クロスエントロピーに収束することを示す。 最後に, 理論的結果を支援するための予備実験結果を示す。 有害なLLM生成テキストの起源を任意のサイズで(高い確率で)確認することで、誤情報と戦うのに役立てることができる。

関連論文リスト

• Does a Large Language Model Really Speak in Human-Like Language? [0.5735035463793009]
  大規模言語モデル(LLM)が最近登場し、非常に自然で人間らしいテキストを生成する能力によって、かなりの注目を集めている。 本研究では,LLM生成テキストと人文テキストの潜在コミュニティ構造を比較した。 以上の結果から,GPT生成テキストは人為的なテキストとは相変わらず異なることが示唆された。
  論文  参考訳（メタデータ） (2025-01-02T14:13:44Z)
• Reasoning Robustness of LLMs to Adversarial Typographical Errors [49.99118660264703]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトを使用した推論において、印象的な機能を示している。 本研究では,LLMのタイポグラフィ的誤りに対するロバスト性について検討する。 我々は,クエリに重要な単語の型を反復的にサンプリングし,攻撃に成功しそうな編集を選択する,Adversarial Typo Attack(texttATA$)アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-11-08T05:54:05Z)
• Which LLMs are Difficult to Detect? A Detailed Analysis of Potential Factors Contributing to Difficulties in LLM Text Detection [43.66875548677324]
  我々は、不均衡なデータセットで分類器を訓練するためにLibAUCライブラリを使用してAIGテキスト分類器を訓練する。 We results in the Deepfake Text dataset shows that AIG-text detection are various across domain。 学生エッセイに焦点をあてたIvy Pandaデータセットでは, LLMのOpenAIファミリは, 分類者が人文と区別することが極めて困難であった。
  論文  参考訳（メタデータ） (2024-10-18T21:42:37Z)
• Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
  本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。 我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
  論文  参考訳（メタデータ） (2024-06-18T21:31:19Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  我々は,人文テキストがLLM生成テキストよりも文法的誤りを多く含んでいるという観察に基づく,シンプルで効果的なブラックボックスゼロショット検出手法を提案する。 実験結果から,本手法はゼロショット法や教師あり手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• Turbulence: Systematically and Automatically Testing Instruction-Tuned Large Language Models for Code [11.194047962236793]
  本稿では,新しいベンチマークである乱流を用いて,命令調整型大規模言語モデル(LLM)のコード生成における正確性と堅牢性を評価する手法を提案する。 乱流は、多数の自然言語の$textitquestion templates$から成り、それぞれがプログラミングの問題であり、様々な形式で問うことができるようにパラメータ化されている。 単一の質問テンプレートから、LLM に $textitneighbourhood$ と非常によく似たプログラミング質問を問うことができ、各質問に対して返された結果の正しさを評価することができる。
  論文  参考訳（メタデータ） (2023-12-22T17:29:08Z)
• Do large language models and humans have similar behaviors in causal inference with script knowledge? [13.140513796801915]
  スクリプトベースのストーリーでイベントの処理をB$で研究する。 私たちの操作では、Event $A$は、テキストの以前のセクションで記述、無効化、または省略されます。
  論文  参考訳（メタデータ） (2023-11-13T13:05:15Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)
• Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
  大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。 LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。 重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:23:46Z)
• DPIC: Decoupling Prompt and Intrinsic Characteristics for LLM Generated Text Detection [56.513637720967566]
  大規模言語モデル(LLM)は、盗作、eコマースプラットフォームへの偽レビューの設置、炎症性偽ツイートなどの誤用のリスクを引き起こすテキストを生成することができる。 既存の高品質な検出手法では、本質的な特徴を抽出するために、モデルの内部にアクセスする必要がある。 ブラックボックスモデル生成テキストの深い内在特性を抽出する。
  論文  参考訳（メタデータ） (2023-05-21T17:26:16Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。