論文の概要: DeepTextMark: Deep Learning based Text Watermarking for Detection of
Large Language Model Generated Text
- arxiv url: http://arxiv.org/abs/2305.05773v1
- Date: Tue, 9 May 2023 21:31:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 15:13:16.881133
- Title: DeepTextMark: Deep Learning based Text Watermarking for Detection of
Large Language Model Generated Text
- Title（参考訳）: DeepTextMark:大規模言語モデル生成テキストの検出のためのディープラーニングベースのテキスト透かし
- Authors: Travis Munyer, Xin Zhong
- Abstract要約: 本稿では,ディープラーニングに基づくテキストソース検出手法であるDeepTextMarkを提案する。
DeepTextMarkは既存のテキスト生成システムに"アドオン"として実装できる。
実験では、高い受容性、高い検出精度、強化された堅牢性、信頼性、高速走行速度が示されている。
- 参考スコア（独自算出の注目度）: 2.017876577978849
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The capabilities of text generators have grown with the rapid development of
Large Language Models (LLM). To prevent potential misuse, the ability to detect
whether texts are produced by LLM has become increasingly important. Several
related works have attempted to solve this problem using binary classifiers
that categorize input text as human-written or LLM-generated. However, these
classifiers have been shown to be unreliable. As impactful decisions could be
made based on the result of the classification, the text source detection needs
to be high-quality. To this end, this paper presents DeepTextMark, a deep
learning-based text watermarking method for text source detection. Applying
Word2Vec and Sentence Encoding for watermark insertion and a transformer-based
classifier for watermark detection, DeepTextMark achieves blindness,
robustness, imperceptibility, and reliability simultaneously. As discussed
further in the paper, these traits are indispensable for generic text source
detection, and the application focus of this paper is on the text generated by
LLM. DeepTextMark can be implemented as an "add-on" to existing text generation
systems. That is, the method does not require access or modification to the
text generation technique. Experiments have shown high imperceptibility, high
detection accuracy, enhanced robustness, reliability, and fast running speed of
DeepTextMark.
- Abstract（参考訳）: テキストジェネレータの能力は、Large Language Models (LLM) の急速な発展とともに成長してきた。
誤用を防止するため, LLM によるテキスト生成の検出がますます重要になっている。
いくつかの関連する研究は、入力テキストを人間の書き起こしやLLM生成に分類するバイナリ分類器を用いてこの問題を解決しようとしている。
しかし、これらの分類器は信頼できないことが示されている。
分類の結果に基づいて影響のある決定を行うことができるため、テキストソースの検出は高品質である必要がある。
そこで本論文では,DeepTextMarkというテキストソース検出のための深層学習ベースのテキスト透かし手法を提案する。
透かし挿入のためのWord2VecとSentence Encodingと透かし検出のためのトランスフォーマーベースの分類器を応用し、DeepTextMarkは盲目、堅牢性、非受容性、信頼性を同時に達成する。
本稿で述べるように,これらの特徴は汎用的なテキストソース検出には不可欠であり,本論文の応用はllmによって生成されたテキストに焦点をあてる。
DeepTextMarkは既存のテキスト生成システムに"アドオン"として実装できる。
すなわち、このメソッドはテキスト生成技術へのアクセスや修正を必要としない。
実験では、高いインセプティビリティ、高い検出精度、強化された堅牢性、信頼性、deeptextmarkの高速実行速度が示されている。
関連論文リスト
- Unveiling Large Language Models Generated Texts: A Multi-Level Fine-Grained Detection Framework [9.976099891796784]
大型言語モデル (LLM) は文法の修正、内容の拡張、文体の改良によって人間の書き方を変えてきた。
既存の検出方法は、主に単一機能分析とバイナリ分類に依存しているが、学術的文脈においてLLM生成テキストを効果的に識別することができないことが多い。
低レベル構造, 高レベル意味, 深層言語的特徴を統合することで, LLM生成テキストを検出する多レベルきめ細粒度検出フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-18T07:25:00Z) - Signal Watermark on Large Language Models [28.711745671275477]
本稿では,Large Language Models (LLMs) によるテキストに特定の透かしを埋め込む透かし手法を提案する。
この技術は、透かしが人間に見えないことを保証するだけでなく、モデル生成テキストの品質と文法的整合性も維持する。
提案手法は複数のLDMに対して実験的に検証され,高い検出精度を維持している。
論文 参考訳（メタデータ） (2024-10-09T04:49:03Z) - Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - On Evaluating The Performance of Watermarked Machine-Generated Texts Under Adversarial Attacks [20.972194348901958]
まず、メインストリームのウォーターマーキングスキームと、機械生成テキストに対する削除攻撃を組み合わせます。
8つの透かし(5つのプレテキスト、3つのポストテキスト)と12のアタック(2つのプレテキスト、10のポストテキスト)を87のシナリオで評価した。
その結果、KGWとExponentialの透かしは高いテキスト品質と透かしの保持を提供するが、ほとんどの攻撃に対して脆弱であることが示唆された。
論文 参考訳（メタデータ） (2024-07-05T18:09:06Z) - Topic-Based Watermarks for LLM-Generated Text [46.71493672772134]
本稿では,大規模言語モデル(LLM)のためのトピックベースの新しい透かしアルゴリズムを提案する。
トピック固有のトークンバイアスを使用することで、生成されたテキストにトピック依存の透かしを埋め込む。
提案手法は,テキストトピックを99.99%の信頼度で分類する。
論文 参考訳（メタデータ） (2024-04-02T17:49:40Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳（メタデータ） (2023-11-16T08:36:00Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳（メタデータ） (2023-07-29T14:11:15Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2023-07-25T20:24:22Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳（メタデータ） (2023-03-17T17:53:19Z) - Adversarial Watermarking Transformer: Towards Tracing Text Provenance
with Data Hiding [80.3811072650087]
自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。
本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。
AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
論文 参考訳（メタデータ） (2020-09-07T11:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。