論文の概要: Cross-Attention Watermarking of Large Language Models
- arxiv url: http://arxiv.org/abs/2401.06829v1
- Date: Fri, 12 Jan 2024 09:39:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 21:06:08.360877
- Title: Cross-Attention Watermarking of Large Language Models
- Title(参考訳): 大規模言語モデルのクロスアテンション透かし
- Authors: Folco Bertini Baldassini, Huy H. Nguyen, Ching-Chung Chang, Isao
Echizen
- Abstract要約: 言語モデルの言語透かしに対する新しいアプローチを示す。
情報は、読みやすさと本来の意味を保ちながら、出力テキストに不可避的に挿入される。
クロスアテンションメカニズムは、推論中にテキストに透かしを埋め込むのに使われる。
- 参考スコア(独自算出の注目度): 8.704964543257246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A new approach to linguistic watermarking of language models is presented in
which information is imperceptibly inserted into the output text while
preserving its readability and original meaning. A cross-attention mechanism is
used to embed watermarks in the text during inference. Two methods using
cross-attention are presented that minimize the effect of watermarking on the
performance of a pretrained model. Exploration of different training strategies
for optimizing the watermarking and of the challenges and implications of
applying this approach in real-world scenarios clarified the tradeoff between
watermark robustness and text quality. Watermark selection substantially
affects the generated output for high entropy sentences. This proactive
watermarking approach has potential application in future model development.
- Abstract(参考訳): 読みやすさと本来の意味を保ちつつ、出力テキストに情報を受動的に挿入する言語モデルの言語的透かしに対する新しいアプローチが提示された。
クロスアテンションメカニズムは、推論中にテキストに透かしを埋め込むのに使われる。
予め訓練したモデルの性能に及ぼす透かしの影響を最小限に抑える2つの方法を示す。
ウォーターマークの最適化のための異なるトレーニング戦略の探索と、実際のシナリオにおけるこのアプローチの適用の課題と意義は、ウォーターマークの堅牢性とテキスト品質のトレードオフを明確にした。
透かしの選択は高エントロピー文の出力に大きく影響する。
このプロアクティブな透かしアプローチは将来のモデル開発に潜在的に応用できる。
関連論文リスト
- Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - Adaptive Text Watermark for Large Language Models [9.569222603139332]
プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。
本稿では,この問題に対処するための適応型透かし手法を提案する。
論文 参考訳(メタデータ) (2024-01-25T03:57:12Z) - Optimizing watermarks for large language models [0.0]
本稿では,透かし識別能力とテキストの品質への影響のトレードオフに対する体系的なアプローチを提案する。
強靭で効率的な透かしの大規模なクラスでは、関連する最適解が同定され、現在デフォルトの透かしよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-28T16:10:51Z) - On the Learnability of Watermarks for Language Models [88.45782629821468]
私たちは、デコードベースの透かしを利用する教師モデルのように振る舞うように学生モデルを訓練する。
モデルは、高い検出性で透かし付きテキストを生成することができる。
論文 参考訳(メタデータ) (2023-12-07T17:41:44Z) - Performance Trade-offs of Watermarking Large Language Models [28.556397738117617]
各種タスクにおいて,透かし付き大規模言語モデル (LLM) の性能を評価する。
ウォーターマーキングがkクラス分類問題として生じるタスクのパフォーマンスに無視できない影響があることが判明した。
要約や翻訳などの長文生成タスクでは、透かしによる性能の15~20%低下が見られる。
論文 参考訳(メタデータ) (2023-11-16T11:44:58Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models [71.49654786784713]
電子透かしのための分布保存型透かし(DiP)を提案する。
提案したDiPmarkは、透かし(ステルス)中の元のトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、コンテキストに基づいてユニークなtextiti.i.d.暗号を割り当てるハッシュ関数と組み合わさって、新しいreweight戦略を導入することで達成される。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-07-25T20:24:22Z) - A Watermark for Large Language Models [60.66466446340074]
本稿では,プロプライエタリな言語モデルのための透かしフレームワークを提案する。
透かしはテキストの品質に無視できない影響で埋め込むことができる。
言語モデルAPIやパラメータにアクセスすることなく、効率的なオープンソースアルゴリズムを使って検出することができる。
論文 参考訳(メタデータ) (2023-01-24T18:52:59Z) - Watermarking Images in Self-Supervised Latent Spaces [75.99287942537138]
我々は,自己教師型アプローチに照らして,事前学習した深層ネットワークに基づく透かし手法を再検討する。
我々は、マーク時間におけるデータの増大を利用して、マークとバイナリのメッセージをその潜在空間に埋め込む方法を提案する。
論文 参考訳(メタデータ) (2021-12-17T15:52:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。