論文の概要: Optimizing watermarks for large language models
- arxiv url: http://arxiv.org/abs/2312.17295v1
- Date: Thu, 28 Dec 2023 16:10:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-02 15:13:46.690372
- Title: Optimizing watermarks for large language models
- Title(参考訳): 大規模言語モデルのための透かし最適化
- Authors: Bram Wouters
- Abstract要約: 本稿では,透かし識別能力とテキストの品質への影響のトレードオフに対する体系的なアプローチを提案する。
強靭で効率的な透かしの大規模なクラスでは、関連する最適解が同定され、現在デフォルトの透かしよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rise of large language models (LLMs) and concerns about potential
misuse, watermarks for generative LLMs have recently attracted much attention.
An important aspect of such watermarks is the trade-off between their
identifiability and their impact on the quality of the generated text. This
paper introduces a systematic approach to this trade-off in terms of a
multi-objective optimization problem. For a large class of robust, efficient
watermarks, the associated Pareto optimal solutions are identified and shown to
outperform the currently default watermark.
- Abstract(参考訳): 大規模言語モデル(LLMs)の台頭と潜在的な誤用に対する懸念により、生成型LLMの透かしが近年注目を集めている。
このような透かしの重要な側面は、その識別性と生成されたテキストの品質への影響の間のトレードオフである。
本稿では,多目的最適化問題の観点から,このトレードオフに対する系統的アプローチを提案する。
多くの堅牢で効率的な透かしに対して、関連するパレート最適解が同定され、現在デフォルトの透かしよりも優れていることを示す。
関連論文リスト
- WaterJudge: Quality-Detection Trade-off when Watermarking Large Language Models [36.92452515593206]
本稿では, フレキシブルなNLG評価フレームワークである比較評価を, 特定の透かし設定による品質劣化を評価するための簡易解析フレームワークを提案する。
われわれのフレームワークは、透かし設定の品質-検出トレードオフを簡単に可視化できることを実証する。
このアプローチは2つの異なる要約システムと翻訳システムに適用され、タスクのクロスモデル解析とクロスタスク解析を可能にした。
論文 参考訳(メタデータ) (2024-03-28T16:28:38Z) - Duwak: Dual Watermarks in Large Language Models [49.00264962860555]
トークン確率分布とサンプリングスキームの両方に二重秘密パターンを埋め込むことにより、透かしの効率と品質を向上させるために、Duwakを提案する。
Llama2でDuwakを4つの最先端透かし技術と組み合わせて評価した。
論文 参考訳(メタデータ) (2024-03-12T16:25:38Z) - Token-Specific Watermarking with Enhanced Detectability and Semantic
Coherence for Large Language Models [32.914584565739894]
大規模言語モデルは、潜在的な誤報を伴う高品質な応答を生成する。
現在の透かしアルゴリズムは、挿入された透かしの検出可能性と生成されたテキストの意味的整合性の両方を達成するという課題に直面している。
本稿では,トークン固有の透かしロジットと分割比を生成するために,軽量ネットワークを利用した透かしのための新しい多目的最適化(MOO)手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T05:43:22Z) - GumbelSoft: Diversified Language Model Watermarking via the
GumbelMax-trick [52.87556347528717]
大型言語モデル(LLM)は、人間のようなテキストを生成するだけでなく、フェイクニュースや学術的不正の誤用も懸念している。
デコードベースの透かし、特にGumbelMax-trickベースの透かし(GM透かし)は、機械生成テキストを保護するためのスタンドアウトソリューションである。
我々は,新しいタイプのGM透かし,Logits-Addition透かし,およびその3つの変種を提案する。
論文 参考訳(メタデータ) (2024-02-20T12:05:47Z) - Adaptive Text Watermark for Large Language Models [9.569222603139332]
プロンプトやモデルの知識を必要とせずに、強力なセキュリティ、堅牢性、および透かしを検出する能力を維持しつつ、高品質な透かしテキストを生成することは困難である。
本稿では,この問題に対処するための適応型透かし手法を提案する。
論文 参考訳(メタデータ) (2024-01-25T03:57:12Z) - Cross-Attention Watermarking of Large Language Models [8.704964543257246]
言語モデルの言語透かしに対する新しいアプローチを示す。
情報は、読みやすさと本来の意味を保ちながら、出力テキストに不可避的に挿入される。
クロスアテンションメカニズムは、推論中にテキストに透かしを埋め込むのに使われる。
論文 参考訳(メタデータ) (2024-01-12T09:39:50Z) - Improving the Generation Quality of Watermarked Large Language Models
via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。
この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。
We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文 参考訳(メタデータ) (2023-11-16T08:36:00Z) - DiPmark: A Stealthy, Efficient and Resilient Watermark for Large
Language Models [71.49654786784713]
電子透かしのための分布保存型透かし(DiP)を提案する。
提案したDiPmarkは、透かし(ステルス)中の元のトークン分布を保存し、言語モデルAPIやウェイト(効率)にアクセスせずに検出可能であり、トークンの適度な変更(レジリエント)に対して堅牢である。
これは、コンテキストに基づいてユニークなtextiti.i.d.暗号を割り当てるハッシュ関数と組み合わさって、新しいreweight戦略を導入することで達成される。
論文 参考訳(メタデータ) (2023-10-11T17:57:35Z) - Unbiased Watermark for Large Language Models [67.43415395591221]
本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。
出力確率分布に影響を与えることなく、透かしを統合することができる。
ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
論文 参考訳(メタデータ) (2023-09-22T12:46:38Z) - Watermarking Images in Self-Supervised Latent Spaces [75.99287942537138]
我々は,自己教師型アプローチに照らして,事前学習した深層ネットワークに基づく透かし手法を再検討する。
我々は、マーク時間におけるデータの増大を利用して、マークとバイナリのメッセージをその潜在空間に埋め込む方法を提案する。
論文 参考訳(メタデータ) (2021-12-17T15:52:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。