論文の概要: DeepTextMark: A Deep Learning-Driven Text Watermarking Approach for
Identifying Large Language Model Generated Text
- arxiv url: http://arxiv.org/abs/2305.05773v2
- Date: Mon, 11 Mar 2024 06:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 17:25:34.343581
- Title: DeepTextMark: A Deep Learning-Driven Text Watermarking Approach for
Identifying Large Language Model Generated Text
- Title(参考訳): DeepTextMark:大規模言語モデル生成テキストの同定のためのディープラーニング駆動型テキスト透かしアプローチ
- Authors: Travis Munyer, Abdullah Tanvir, Arjon Das, Xin Zhong
- Abstract要約: テキストが人間によって書かれたものなのか、あるいはLarge Language Modelsによって生成されたものなのかを識別することの重要性が最重要になっている。
DeepTextMarkは、テキスト生成フレームワークに対して実行可能な"アドオン"ソリューションを提供する。
実験による評価は,DeepTextMarkの非知覚性,検出精度の向上,堅牢性の向上,信頼性の向上,迅速な実行を裏付けるものである。
- 参考スコア(独自算出の注目度): 1.249418440326334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of Large Language Models (LLMs) has significantly
enhanced the capabilities of text generators. With the potential for misuse
escalating, the importance of discerning whether texts are human-authored or
generated by LLMs has become paramount. Several preceding studies have ventured
to address this challenge by employing binary classifiers to differentiate
between human-written and LLM-generated text. Nevertheless, the reliability of
these classifiers has been subject to question. Given that consequential
decisions may hinge on the outcome of such classification, it is imperative
that text source detection is of high caliber. In light of this, the present
paper introduces DeepTextMark, a deep learning-driven text watermarking
methodology devised for text source identification. By leveraging Word2Vec and
Sentence Encoding for watermark insertion, alongside a transformer-based
classifier for watermark detection, DeepTextMark epitomizes a blend of
blindness, robustness, imperceptibility, and reliability. As elaborated within
the paper, these attributes are crucial for universal text source detection,
with a particular emphasis in this paper on text produced by LLMs. DeepTextMark
offers a viable "add-on" solution to prevailing text generation frameworks,
requiring no direct access or alterations to the underlying text generation
mechanism. Experimental evaluations underscore the high imperceptibility,
elevated detection accuracy, augmented robustness, reliability, and swift
execution of DeepTextMark.
- Abstract(参考訳): 大規模言語モデル(llms)の急速な進歩は、テキストジェネレータの能力を大幅に向上させた。
誤用がエスカレートする可能性が高まるにつれて、テキストが人間の著作であるかllmによって生成されたのかを見極めることが重要になっている。
いくつかの先行研究は、人間の書き起こしテキストとLLM生成テキストを区別するためにバイナリ分類器を用いてこの問題に対処している。
しかし、これらの分類器の信頼性は疑問視されている。
一連の決定がそのような分類の結果に左右される可能性を考えると、テキストソース検出が高いカリバーであることは必須である。
そこで本研究では,テキストソース識別のために考案された深層学習によるテキスト透かし手法であるdeeptextmarkを提案する。
透かし挿入にWord2VecとSentence Encodingを活用することで、透かし検出のためのトランスフォーマーベースの分類器とともに、DeepTextMarkは盲目、堅牢性、非受容性、信頼性をブレンドする。
本稿で詳述したように、これらの属性はユニバーサルテキストソース検出に不可欠であり、本論文ではLLMが生成したテキストに特に重点を置いている。
deeptextmarkは、テキスト生成フレームワークに有効な"アドオン"ソリューションを提供し、基盤となるテキスト生成メカニズムへの直接アクセスや変更を必要としない。
実験による評価は,DeepTextMarkの高知覚率,高検出精度,高堅牢性,信頼性,迅速な実行を裏付けるものである。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Adaptive Text Watermark for Large Language Models [9.569222603139332]
プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。
本稿では,この問題に対処するための適応型透かし手法を提案する。
論文 参考訳(メタデータ) (2024-01-25T03:57:12Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - Towards Codable Watermarking for Injecting Multi-bit Information to LLM [90.13097900576113]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
LLMの悪用を防ぐために、テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによってテキストが生成されるかどうかを識別する上で信頼性があることが証明されている。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-07-25T20:24:22Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - Adversarial Watermarking Transformer: Towards Tracing Text Provenance
with Data Hiding [80.3811072650087]
自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。
本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。
AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
論文 参考訳(メタデータ) (2020-09-07T11:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。