論文の概要: Ten Words Only Still Help: Improving Black-Box AI-Generated Text Detection via Proxy-Guided Efficient Re-Sampling

• arxiv url: http://arxiv.org/abs/2402.09199v1
• Date: Wed, 14 Feb 2024 14:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 15:23:49.919314
• Title: Ten Words Only Still Help: Improving Black-Box AI-Generated Text Detection via Proxy-Guided Efficient Re-Sampling
• Title（参考訳）: プロキシガイドによる効率的な再サンプリングによる、ブラックボックスai生成テキスト検出の改善
• Authors: Yuhui Shi, Qiang Sheng, Juan Cao, Hao Mi, Beizhe Hu, Danding Wang
• Abstract要約: POGERは、ブラックボックスAIGT検出のためのプロキシ誘導効率的な再サンプリング手法である。 マクロF1のすべてのベースラインをブラックボックス、部分的なホワイトボックス、アウト・オブ・ディストリビューション設定で上回る。
• 参考スコア（独自算出の注目度）: 19.780068724002888
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the rapidly increasing application of large language models (LLMs), their abuse has caused many undesirable societal problems such as fake news, academic dishonesty, and information pollution. This makes AI-generated text (AIGT) detection of great importance. Among existing methods, white-box methods are generally superior to black-box methods in terms of performance and generalizability, but they require access to LLMs' internal states and are not applicable to black-box settings. In this paper, we propose to estimate word generation probabilities as pseudo white-box features via multiple re-sampling to help improve AIGT detection under the black-box setting. Specifically, we design POGER, a proxy-guided efficient re-sampling method, which selects a small subset of representative words (e.g., 10 words) for performing multiple re-sampling in black-box AIGT detection. Experiments on datasets containing texts from humans and seven LLMs show that POGER outperforms all baselines in macro F1 under black-box, partial white-box, and out-of-distribution settings and maintains lower re-sampling costs than its existing counterparts.
• Abstract（参考訳）: 大規模言語モデル(LLM)の適用が急速に増加し、その悪用はフェイクニュース、学術的不正、情報汚染など、多くの望ましくない社会問題を引き起こしている。 これによりAI生成テキスト(AIGT)の検出が非常に重要になる。 既存の方法では、ホワイトボックスメソッドは一般的に性能と一般化性の観点からブラックボックスメソッドよりも優れているが、llmsの内部状態へのアクセスが必要であり、ブラックボックス設定には適用できない。 本稿では,複数再サンプリングによる単語生成確率を擬似ホワイトボックスの特徴として推定し,ブラックボックス設定におけるAIGT検出の改善を支援する。 具体的には、ブラックボックスAIGT検出において複数の再サンプリングを行うために、代表語(例えば10語)の小さなサブセットを選択するプロキシ誘導効率的な再サンプリング手法であるPOGERを設計する。 人間とLLMのテキストを含むデータセットの実験では、POGERはブラックボックス、部分的なホワイトボックス、アウト・オブ・ディストリビューション設定の下でマクロF1のすべてのベースラインを上回り、既存のものよりも低い再サンプリングコストを維持する。

関連論文リスト

• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  単純だが効果的なブラックボックスゼロショット検出手法を提案する。 人文テキストは典型的には LLM 生成テキストよりも文法上の誤りを多く含んでいる。 提案手法は平均98.7%のAUROCを達成し,パラフレーズや逆行性摂動攻撃に対する強い堅牢性を示した。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning [77.61565726647784]
  本稿では,まず検索空間をクラスタ化してプルークするブラックボックス探索手法を提案する。 検索空間設計と最適化は,ブラックボックス・プロンプトに基づく学習の有用性と効率性を両立させる上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-10-19T14:25:06Z)
• Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature [36.31281981509264]
  大規模言語モデル(LLM)は、流動的でコジェントなコンテンツを生成する能力を示している。 信頼できるAIシステムを構築するためには、マシン生成コンテンツと人間によるコンテンツとを区別することが不可欠である。 Fast-DetectGPTは、ディテクターGPTの摂動ステップを、より効率的なサンプリングステップで置き換える最適化されたゼロショット検出器である。
  論文  参考訳（メタデータ） (2023-10-08T11:41:28Z)
• Language Models as Black-Box Optimizers for Vision-Language Models [62.80817942316398]
  Webスケールデータセットで事前トレーニングされた視覚言語モデル(VLM)は、最小限のデータで微調整された場合、下流タスクに顕著な機能を示す。 我々は,自然言語のプロンプトを通じてVLMを最適化するためのブラックボックスアプローチを開発することを目指している。
  論文  参考訳（メタデータ） (2023-09-12T04:03:41Z)
• Beyond Black Box AI-Generated Plagiarism Detection: From Sentence to Document Level [4.250876580245865]
  既存のAI生成テキスト分類器は精度が限られており、しばしば偽陽性を生成する。 自然言語処理(NLP)技術を用いた新しい手法を提案する。 与えられた質問の複数のパラフレーズ付きバージョンを生成し、それを大きな言語モデルに入力し、回答を生成する。 本研究では,コサイン類似度に基づくコントラスト的損失関数を用いて,生成文と学生の反応とをマッチングする。
  論文  参考訳（メタデータ） (2023-06-13T20:34:55Z)
• DNA-GPT: Divergent N-Gram Analysis for Training-Free Detection of GPT-Generated Text [82.5469544192645]
  ダイバージェントN-Gram解析(DNA-GPT)と呼ばれる新しいトレーニング不要検出手法を提案する。 元の部分と新しい部分の違いをN-gram解析により解析することにより,機械生成テキストと人文テキストの分布に顕著な相違が明らかになった。 その結果, ゼロショットアプローチは, 人文とGPT生成テキストの区別において, 最先端の性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-05-27T03:58:29Z)
• Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation [42.05617728412819]
  大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。 我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
  論文  参考訳（メタデータ） (2023-05-23T07:54:34Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
  PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。 実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
  論文  参考訳（メタデータ） (2022-12-19T06:04:54Z)
• LAMBDA: Covering the Solution Set of Black-Box Inequality by Search Space Quantization [1.345821655503426]
  ブラックボックス関数は、入力と出力以外の明示的な情報を提供しない複雑な問題をモデル化するために広く使用される。 ブラックボックス対象関数に対する限られた評価によって設定されたソリューションを可能な限りカバーすることは、ブラックボックス被覆(BBC)問題として定義される。
  論文  参考訳（メタデータ） (2022-03-25T15:24:05Z)
• Text Counterfactuals via Latent Optimization and Shapley-Guided Search [15.919650185010491]
  本研究は,分類モデルにおける対実テキスト生成の問題について考察する。 我々は、モデルの予測を変えるために、テキストを最小限に変更することを目指している。 ホワイトボックスアプローチは、視覚における同様の問題にうまく適用されている。
  論文  参考訳（メタデータ） (2021-10-22T05:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。