論文の概要: Zero-Shot Statistical Tests for LLM-Generated Text Detection using Finite Sample Concentration Inequalities

• arxiv url: http://arxiv.org/abs/2501.02406v2
• Date: Wed, 22 Jan 2025 02:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:52:59.919111
• Title: Zero-Shot Statistical Tests for LLM-Generated Text Detection using Finite Sample Concentration Inequalities
• Title（参考訳）: 有限濃度不等式を用いたLLMテキスト検出のためのゼロショット統計的テスト
• Authors: Tara Radvand, Mojtaba Abdolmaleki, Mohamed Mostagir, Ambuj Tewari,
• Abstract要約: その結果,本試験におけるI型およびII型エラーはテキスト長で指数関数的に減少することがわかった。 文字列が$A$で生成される場合、$A$以下の文字列の対数複雑度は、文字列長の指数的に小さい確率を除いて、$A$以下の文字列の平均エントロピーに収束することを示す。
• 参考スコア（独自算出の注目度）: 13.657259851747126
• License:
• Abstract: Verifying the provenance of content is crucial to the function of many organizations, e.g., educational institutions, social media platforms, firms, etc. This problem is becoming increasingly difficult as text generated by Large Language Models (LLMs) becomes almost indistinguishable from human-generated content. In addition, many institutions utilize in-house LLMs and want to ensure that external, non-sanctioned LLMs do not produce content within the institution. In this paper, we answer the following question: Given a piece of text, can we identify whether it was produced by LLM $A$ or $B$ (where $B$ can be a human)? We model LLM-generated text as a sequential stochastic process with complete dependence on history and design zero-shot statistical tests to distinguish between (i) the text generated by two different sets of LLMs $A$ (in-house) and $B$ (non-sanctioned) and also (ii) LLM-generated and human-generated texts. We prove that the type I and type II errors for our tests decrease exponentially in the text length. In designing our tests, we derive concentration inequalities on the difference between log-perplexity and the average entropy of the string under $A$. Specifically, for a given string, we demonstrate that if the string is generated by $A$, the log-perplexity of the string under $A$ converges to the average entropy of the string under $A$, except with an exponentially small probability in string length. We also show that if $B$ generates the text, except with an exponentially small probability in string length, the log-perplexity of the string under $A$ converges to the average cross-entropy of $B$ and $A$. Lastly, we present preliminary experimental results to support our theoretical results. By enabling guaranteed (with high probability) finding of the origin of harmful LLM-generated text with arbitrary size, we can help combat misinformation.
• Abstract（参考訳）: コンテンツの有効性を検証することは、教育機関、ソーシャルメディアプラットフォーム、企業など、多くの組織の機能にとって不可欠である。 LLM(Large Language Models)が生成するテキストが、人間が生成したコンテンツとほとんど区別できないようになるにつれて、この問題はますます難しくなってきている。 さらに、多くの機関が社内のLLMを利用して、外部の無許可のLLMが施設内でコンテンツを生成しないようにしたいと望んでいる。 LLM $A$か$B$で作られたのか($B$は人間になれるのか)を特定できますか? 我々は LLM 生成テキストを履歴に完全に依存した逐次確率過程としてモデル化し、ゼロショット統計試験を設計して区別する。 i) LLM の 2 つの異なるセット $A$ (社内) と $B$ (非認可) によって生成されるテキスト。 (ii) LLM 生成及び人為的生成テキスト。 本試験のタイプIとタイプIIの誤差はテキスト長で指数関数的に減少することが証明された。 実験を設計する際には, 対数複雑度と平均エントロピーの差に対する濃度不等式を$A$で導出する。 具体的には、与えられた文字列に対して、文字列が$A$で生成される場合、$A$以下の文字列の対数複雑度は、文字列長の指数的に小さい確率を除いて、$A$以下の文字列の平均エントロピーに収束することを示す。 また、$B$が文字列長の指数的に小さい確率を除いてテキストを生成する場合、$A$以下の文字列の対数複雑度は、$B$と$A$の平均クロスエントロピーに収束することを示す。 最後に, 理論的結果を支援するための予備実験結果を示す。 有害なLLM生成テキストの起源を任意のサイズで(高い確率で)確認することで、誤情報と戦うのに役立てることができる。

関連論文リスト

• Reasoning Robustness of LLMs to Adversarial Typographical Errors [49.99118660264703]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトを使用した推論において、印象的な機能を示している。 本研究では,LLMのタイポグラフィ的誤りに対するロバスト性について検討する。 我々は,クエリに重要な単語の型を反復的にサンプリングし,攻撃に成功しそうな編集を選択する,Adversarial Typo Attack(texttATA$)アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-11-08T05:54:05Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [50.9814063216852]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)
• Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG [57.14250086701313]
  本研究では,現代のLMがトレーニングデータから$n$-gramを生成できる範囲について検討する。 我々は,ゲノムデータのインデックス化にインスパイアされた新しい検索ツールであるRusty-DAWGを開発した。
  論文  参考訳（メタデータ） (2024-06-18T21:31:19Z)
• Many-Shot Regurgitation (MSR) Prompting [26.9991760335222]
  大規模言語モデル (LLM) において, 暗黙的コンテンツ再現を検証するための新たなブラックボックスメンバシップ推論攻撃フレームワークであるMulti-Shot Regurgitation (MSR) を導入した。 MSRプロンプトは、入力テキストを複数のセグメントに分割し、ユーザと言語モデルの間の一連の偽の会話ラウンドを含む単一のプロンプトを作成して、動詞の反復を誘発する。 MSRをウィキペディアの記事やオープン教育リソース(OER)教科書など多様なテキストソースに適用し,高品質な事実コンテンツを提供する。
  論文  参考訳（メタデータ） (2024-05-13T19:22:40Z)
• Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training [55.321010757641524]
  大きな言語モデル(LLM)のトレーニングに関する主要な公的な懸念は、著作権のあるオンラインテキストを悪用するかどうかである。 事前の会員推定法は、大量のトレーニングデータに類似した例によって誤解されることがある。 本稿では,Webユーザとコンテンツプラットフォームがtextbftextitunique 識別子を使用することを推奨する代替のtextitinsert-and-detection 手法を提案する。
  論文  参考訳（メタデータ） (2024-03-23T06:36:32Z)
• Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens [138.36729703589512]
  神経大言語モデル(LLM)の時代には,$n$-gramの言語モデルがいまだに関係していることを示す。 これは、2つの側面で$n$-gramのLMを近代化することで実現された。まず、ニューラルネットワークLLMと同じデータスケールでトレーニングする -- 5兆トークン。 次に、既存の$n$-gram LMは、そのパフォーマンスを妨げる小さな$n$を使用します。
  論文  参考訳（メタデータ） (2024-01-30T19:03:49Z)
• Do large language models and humans have similar behaviors in causal inference with script knowledge? [13.140513796801915]
  スクリプトベースのストーリーでイベントの処理をB$で研究する。 私たちの操作では、Event $A$は、テキストの以前のセクションで記述、無効化、または省略されます。
  論文  参考訳（メタデータ） (2023-11-13T13:05:15Z)
• Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
  大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。 LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。 重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:23:46Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。