Fugu-MT 論文翻訳(概要): Optimizing watermarks for large language models

論文の概要: Optimizing watermarks for large language models

arxiv url: http://arxiv.org/abs/2312.17295v1
Date: Thu, 28 Dec 2023 16:10:51 GMT
ステータス: 処理完了
システム内更新日: 2024-01-02 15:13:46.690372
Title: Optimizing watermarks for large language models
Title（参考訳）: 大規模言語モデルのための透かし最適化
Authors: Bram Wouters
Abstract要約: 本稿では,透かし識別能力とテキストの品質への影響のトレードオフに対する体系的なアプローチを提案する。強靭で効率的な透かしの大規模なクラスでは、関連する最適解が同定され、現在デフォルトの透かしよりも優れていることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the rise of large language models (LLMs) and concerns about potential misuse, watermarks for generative LLMs have recently attracted much attention. An important aspect of such watermarks is the trade-off between their identifiability and their impact on the quality of the generated text. This paper introduces a systematic approach to this trade-off in terms of a multi-objective optimization problem. For a large class of robust, efficient watermarks, the associated Pareto optimal solutions are identified and shown to outperform the currently default watermark.
Abstract（参考訳）: 大規模言語モデル(LLMs)の台頭と潜在的な誤用に対する懸念により、生成型LLMの透かしが近年注目を集めている。このような透かしの重要な側面は、その識別性と生成されたテキストの品質への影響の間のトレードオフである。本稿では,多目的最適化問題の観点から,このトレードオフに対する系統的アプローチを提案する。多くの堅牢で効率的な透かしに対して、関連するパレート最適解が同定され、現在デフォルトの透かしよりも優れていることを示す。

関連論文リスト

Improved Unbiased Watermark for Large Language Models [59.00698153097887]
本稿では,非バイアスのマルチチャネル型透かしであるMCmarkを紹介する。 MCmarkは言語モデルの本来の分布を保存する。既存の非バイアスの透かしよりも検出性と堅牢性を大幅に改善する。
論文参考訳（メタデータ） (2025-02-16T21:02:36Z)
De-mark: Watermark Removal in Large Language Models [59.00698153097887]
我々は、n-gramベースの透かしを効果的に除去するために設計された高度なフレームワークであるDe-markを紹介する。提案手法は,透かしの強度を評価するために,ランダム選択探索と呼ばれる新しいクエリ手法を利用する。
論文参考訳（メタデータ） (2024-10-17T17:42:10Z)
Theoretically Grounded Framework for LLM Watermarking: A Distribution-Adaptive Approach [35.319577498993354]
大規模言語モデル(LLM)の透かしのための新しい理論的枠組みを提案する。本手法は,最悪のType-Iエラーとテキスト歪みの制御を維持しつつ,検出性能の最大化に重点を置いている。本稿では,Gumbel-max の手法と並行してサロゲートモデルを用いた,効率的かつモデルに依存しない分布適応型透かしアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-03T18:28:10Z)
Towards Effective User Attribution for Latent Diffusion Models via Watermark-Informed Blending [54.26862913139299]
我々は、ウォーターマークインフォームドブレンディング(TEAWIB)による潜伏拡散モデルに対する効果的なユーザ属性に向けた新しいフレームワークを提案する。 TEAWIBは、ユーザ固有の透かしを生成モデルにシームレスに統合する、ユニークな準備可能な構成アプローチを取り入れている。 TEAWIBの有効性を検証し、知覚的品質と帰属精度で最先端の性能を示す実験を行った。
論文参考訳（メタデータ） (2024-09-17T07:52:09Z)
WaterJudge: Quality-Detection Trade-off when Watermarking Large Language Models [36.92452515593206]
本稿では, フレキシブルなNLG評価フレームワークである比較評価を, 特定の透かし設定による品質劣化を評価するための簡易解析フレームワークを提案する。われわれのフレームワークは、透かし設定の品質-検出トレードオフを簡単に可視化できることを実証する。このアプローチは2つの異なる要約システムと翻訳システムに適用され、タスクのクロスモデル解析とクロスタスク解析を可能にした。
論文参考訳（メタデータ） (2024-03-28T16:28:38Z)
Cross-Attention Watermarking of Large Language Models [8.704964543257246]
言語モデルの言語透かしに対する新しいアプローチを示す。情報は、読みやすさと本来の意味を保ちながら、出力テキストに不可避的に挿入される。クロスアテンションメカニズムは、推論中にテキストに透かしを埋め込むのに使われる。
論文参考訳（メタデータ） (2024-01-12T09:39:50Z)
WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
論文参考訳（メタデータ） (2023-11-16T11:58:31Z)
Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring [81.62249424226084]
トークンレベルの透かしは、トークン確率分布を変更して生成されたテキストに透かしを挿入する。この透かしアルゴリズムは、生成中のロジットを変化させ、劣化したテキストの品質につながる可能性がある。 We propose to improve the quality of texts generated by a watermarked language model by Watermarking with Importance Scoring (WIS)。
論文参考訳（メタデータ） (2023-11-16T08:36:00Z)
Unbiased Watermark for Large Language Models [67.43415395591221]
本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。出力確率分布に影響を与えることなく、透かしを統合することができる。ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
論文参考訳（メタデータ） (2023-09-22T12:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。