論文の概要: Tracing Text Provenance via Context-Aware Lexical Substitution
- arxiv url: http://arxiv.org/abs/2112.07873v1
- Date: Wed, 15 Dec 2021 04:27:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-16 15:10:11.713933
- Title: Tracing Text Provenance via Context-Aware Lexical Substitution
- Title(参考訳): context-aware lexical replacement によるテキスト生成のトレース
- Authors: Xi Yang, Jie Zhang, Kejiang Chen, Weiming Zhang, Zehua Ma, Feng Wang,
Nenghai Yu
- Abstract要約: 文脈を考慮した語彙置換に基づく自然言語透かし方式を提案する。
主観的および主観的尺度の両面において,我々の透かし方式は原文の意味的整合性を十分に維持することができる。
- 参考スコア(独自算出の注目度): 81.49359106648735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text content created by humans or language models is often stolen or misused
by adversaries. Tracing text provenance can help claim the ownership of text
content or identify the malicious users who distribute misleading content like
machine-generated fake news. There have been some attempts to achieve this,
mainly based on watermarking techniques. Specifically, traditional text
watermarking methods embed watermarks by slightly altering text format like
line spacing and font, which, however, are fragile to cross-media transmissions
like OCR. Considering this, natural language watermarking methods represent
watermarks by replacing words in original sentences with synonyms from
handcrafted lexical resources (e.g., WordNet), but they do not consider the
substitution's impact on the overall sentence's meaning. Recently, a
transformer-based network was proposed to embed watermarks by modifying the
unobtrusive words (e.g., function words), which also impair the sentence's
logical and semantic coherence. Besides, one well-trained network fails on
other different types of text content. To address the limitations mentioned
above, we propose a natural language watermarking scheme based on context-aware
lexical substitution (LS). Specifically, we employ BERT to suggest LS
candidates by inferring the semantic relatedness between the candidates and the
original sentence. Based on this, a selection strategy in terms of
synchronicity and substitutability is further designed to test whether a word
is exactly suitable for carrying the watermark signal. Extensive experiments
demonstrate that, under both objective and subjective metrics, our watermarking
scheme can well preserve the semantic integrity of original sentences and has a
better transferability than existing methods. Besides, the proposed LS approach
outperforms the state-of-the-art approach on the Stanford Word Substitution
Benchmark.
- Abstract(参考訳): 人間や言語モデルによって作成されたテキストコンテンツは、しばしば敵によって盗まれ、誤用される。
テキスト証明の追跡は、テキストコンテンツの所有権を主張したり、マシン生成のフェイクニュースのような誤解を招くコンテンツを配布する悪意のあるユーザーを特定するのに役立つ。
これを達成しようとする試みは、主に透かし技術に基づいている。
特に、従来のテキスト透かし法は、行間隔やフォントなどのテキストフォーマットを少し変更することで透かしを埋め込むが、ocrのようなクロスメディア伝送には脆弱である。
これを考慮すると、自然言語の透かし法は、原文中の単語を手作り語彙資源(例えばWordNet)の同義語に置き換えることによって透かしを表すが、それらが全体文の意味に与える影響を考慮していない。
近年, 文の論理的・意味的一貫性を損なう不明瞭な単語(例えば関数語)を修飾することにより, 透かしを埋め込むトランスフォーマーネットワークが提案されている。
さらに、訓練されたネットワークは、他の異なるタイプのテキストコンテンツで失敗する。
上記の制限に対処するため,文脈対応語彙置換(LS)に基づく自然言語透かし方式を提案する。
具体的には、候補と原文間の意味的関連性を推定することにより、LS候補を提案するためにBERTを用いる。
これに基づいて、シンクロシティと置換性の観点から選択戦略を設計し、単語が透かし信号を運ぶのに適切かどうかを検証する。
客観的および主観的尺度の両面において,我々の透かし方式は,原文の意味的整合性を十分に保ち,既存手法よりも伝達性が高いことを示す。
さらに、提案したLSアプローチは、スタンフォード語置換ベンチマークにおける最先端のアプローチよりも優れている。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Mark My Words: Analyzing and Evaluating Language Model Watermarks [8.610361087746718]
本研究は、画像透かしとは対照的に、テキスト透かし技術に焦点を当て、MARKMYWORDSを提案する。
品質、サイズ(透かしを検出するのに必要なトークンの数など)、タンパー抵抗の3つの主要な指標に注目します。
我々は、いくつかの先行研究で強調された基準である透かしの不明瞭さは、要求が強すぎると論じている。
論文 参考訳(メタデータ) (2023-12-01T01:22:46Z) - WatME: Towards Lossless Watermarking Through Lexical Redundancy [61.55924872561569]
相互排他型透かし(WatME)という新しいアプローチを導入する。
WatMEは、言語モデルの復号過程において利用可能な語彙の使用を動的に最適化する。
本稿では,WatMEが大規模言語モデルのテキスト生成能力を大幅に維持していることを示す理論的解析と実証的証拠を示す。
論文 参考訳(メタデータ) (2023-11-16T11:58:31Z) - DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models [71.49654786784713]
電子透かしのための分布保存型透かし(DiP)を提案する。
提案したDiPmarkは、透かし(ステルス)中の元のトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、コンテキストに基づいてユニークなtextiti.i.d.暗号を割り当てるハッシュ関数と組み合わさって、新しいreweight戦略を導入することで達成される。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text
Generation [72.10931780019297]
既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。
局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。
実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
論文 参考訳(メタデータ) (2023-10-06T03:33:42Z) - On the Reliability of Watermarks for Large Language Models [50.01830399815094]
本研究では,人間による書き直し後の透かしテキストの堅牢性,非透かしLDMによる言い換え,あるいはより長い手書き文書への混在性について検討する。
人や機械の言い回しをしても、透かしは検出可能である。
また、大きな文書に埋め込まれた透かし付きテキストの短いスパンに敏感な新しい検出手法についても検討する。
論文 参考訳(メタデータ) (2023-06-07T17:58:48Z) - Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。
リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。
我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
論文 参考訳(メタデータ) (2023-05-14T07:37:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。