論文の概要: ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection

• arxiv url: http://arxiv.org/abs/2402.11167v2
• Date: Wed, 16 Oct 2024 15:40:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:39:58.196922
• Title: ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection
• Title（参考訳）: ToBlend:AI生成テキスト検出にLLMを組み込んだToken-Level Blending
• Authors: Fan Huang, Haewoon Kwak, Jisun An,
• Abstract要約: ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
• 参考スコア（独自算出の注目度）: 6.27025292177391
• License:
• Abstract: The robustness of AI-content detection models against sophisticated adversarial strategies, such as paraphrasing or word switching, is a rising concern in natural language generation (NLG) applications. This study proposes ToBlend, a novel token-level ensemble text generation method to challenge the robustness of current AI-content detection approaches by utilizing multiple sets of candidate generative large language models (LLMs). By randomly sampling token(s) from candidate LLMs sets, we find ToBlend significantly drops the performance of most mainstream AI-content detection methods. We evaluate the text quality produced under different ToBlend settings based on annotations from experienced human experts. We proposed a fine-tuned Llama3.1 model to distinguish the ToBlend generated text more accurately. Our findings underscore our proposed text generation approach's great potential in deceiving and improving detection models. Our datasets, codes, and annotations are open-sourced.
• Abstract（参考訳）: パラフレージングやワードスイッチングといった高度な敵戦略に対するAIコンテンツ検出モデルの堅牢性は、自然言語生成(NLG)アプリケーションにおける関心の高まりである。 本研究では,複数の候補生成型大言語モデル(LLM)を用いて,現在のAIコンテンツ検出手法の堅牢性に挑戦するトークンレベルアンサンブルテキスト生成手法であるToBlendを提案する。 候補 LLM 集合からトークンをランダムにサンプリングすることにより、ToBlend は主流のAIコンテンツ検出手法の性能を著しく低下させる。 経験豊富な専門家の注釈に基づいて,異なるToBlend設定下で生成したテキストの品質を評価した。 我々は、ToBlend生成したテキストをより正確に識別するために、微調整のLlama3.1モデルを提案した。 提案したテキスト生成手法は,検出モデルの認識・改善において大きな可能性を秘めている。 データセット、コード、アノテーションはオープンソースです。

関連論文リスト

• DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning [24.99797253885887]
  このタスクを達成するための鍵は、異なる著者のスタイルを区別することにある、と我々は主張する。 DeTeCtiveは,マルチタスクの補助的,マルチレベルのコントラスト学習フレームワークである。 我々の手法はテキストエンコーダと互換性がある。
  論文  参考訳（メタデータ） (2024-10-28T12:34:49Z)
• Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
  大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。 既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。 低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-18T07:25:00Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Is Contrasting All You Need? Contrastive Learning for the Detection and Attribution of AI-generated Text [4.902089836908786]
  WhosAIは、与えられた入力テキストが人間かAIによって生成されたかを予測するために設計された3重ネットワークコントラスト学習フレームワークである。 提案するフレームワークは,チューリングテストとオーサリングの両タスクにおいて,優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-12T15:44:56Z)
• CUDRT: Benchmarking the Detection of Human vs. Large Language Models Generated Texts [10.027843402296678]
  本稿では,主要なAI生成テキスト検出器を評価するために,中国語と英語の総合的なベンチマークを構築した。 テキスト生成は、Create、Update、Delete、Rewrite、Translateの5つの異なる操作に分類します。 各CUDRTカテゴリに対して,検出性能を徹底的に評価するための広範囲なデータセットを開発した。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• Enhancing Text Authenticity: A Novel Hybrid Approach for AI-Generated Text Detection [8.149808049643344]
  本稿では,TF-IDF技術と高度な機械学習モデルを組み合わせた新しいハイブリッド手法を提案する。 提案手法は既存手法と比較して優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-06-01T10:21:54Z)
• Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
  我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。 PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。 パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
  論文  参考訳（メタデータ） (2024-05-21T11:22:27Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
  大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。 次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:18:53Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。