論文の概要: DeepTextMark: Deep Learning based Text Watermarking for Detection of
Large Language Model Generated Text
- arxiv url: http://arxiv.org/abs/2305.05773v1
- Date: Tue, 9 May 2023 21:31:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 15:13:16.881133
- Title: DeepTextMark: Deep Learning based Text Watermarking for Detection of
Large Language Model Generated Text
- Title(参考訳): DeepTextMark:大規模言語モデル生成テキストの検出のためのディープラーニングベースのテキスト透かし
- Authors: Travis Munyer, Xin Zhong
- Abstract要約: 本稿では,ディープラーニングに基づくテキストソース検出手法であるDeepTextMarkを提案する。
DeepTextMarkは既存のテキスト生成システムに"アドオン"として実装できる。
実験では、高い受容性、高い検出精度、強化された堅牢性、信頼性、高速走行速度が示されている。
- 参考スコア(独自算出の注目度): 2.017876577978849
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The capabilities of text generators have grown with the rapid development of
Large Language Models (LLM). To prevent potential misuse, the ability to detect
whether texts are produced by LLM has become increasingly important. Several
related works have attempted to solve this problem using binary classifiers
that categorize input text as human-written or LLM-generated. However, these
classifiers have been shown to be unreliable. As impactful decisions could be
made based on the result of the classification, the text source detection needs
to be high-quality. To this end, this paper presents DeepTextMark, a deep
learning-based text watermarking method for text source detection. Applying
Word2Vec and Sentence Encoding for watermark insertion and a transformer-based
classifier for watermark detection, DeepTextMark achieves blindness,
robustness, imperceptibility, and reliability simultaneously. As discussed
further in the paper, these traits are indispensable for generic text source
detection, and the application focus of this paper is on the text generated by
LLM. DeepTextMark can be implemented as an "add-on" to existing text generation
systems. That is, the method does not require access or modification to the
text generation technique. Experiments have shown high imperceptibility, high
detection accuracy, enhanced robustness, reliability, and fast running speed of
DeepTextMark.
- Abstract(参考訳): テキストジェネレータの能力は、Large Language Models (LLM) の急速な発展とともに成長してきた。
誤用を防止するため, LLM によるテキスト生成の検出がますます重要になっている。
いくつかの関連する研究は、入力テキストを人間の書き起こしやLLM生成に分類するバイナリ分類器を用いてこの問題を解決しようとしている。
しかし、これらの分類器は信頼できないことが示されている。
分類の結果に基づいて影響のある決定を行うことができるため、テキストソースの検出は高品質である必要がある。
そこで本論文では,DeepTextMarkというテキストソース検出のための深層学習ベースのテキスト透かし手法を提案する。
透かし挿入のためのWord2VecとSentence Encodingと透かし検出のためのトランスフォーマーベースの分類器を応用し、DeepTextMarkは盲目、堅牢性、非受容性、信頼性を同時に達成する。
本稿で述べるように,これらの特徴は汎用的なテキストソース検出には不可欠であり,本論文の応用はllmによって生成されたテキストに焦点をあてる。
DeepTextMarkは既存のテキスト生成システムに"アドオン"として実装できる。
すなわち、このメソッドはテキスト生成技術へのアクセスや修正を必要としない。
実験では、高いインセプティビリティ、高い検出精度、強化された堅牢性、信頼性、deeptextmarkの高速実行速度が示されている。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Adaptive Text Watermark for Large Language Models [9.569222603139332]
プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。
本稿では,この問題に対処するための適応型透かし手法を提案する。
論文 参考訳(メタデータ) (2024-01-25T03:57:12Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-07-25T20:24:22Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - Adversarial Watermarking Transformer: Towards Tracing Text Provenance
with Data Hiding [80.3811072650087]
自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。
本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。
AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
論文 参考訳(メタデータ) (2020-09-07T11:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。