論文の概要: Towards Watermarking of Open-Source LLMs

• arxiv url: http://arxiv.org/abs/2502.10525v1
• Date: Fri, 14 Feb 2025 19:41:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:22.493424
• Title: Towards Watermarking of Open-Source LLMs
• Title（参考訳）: オープンソースのLCMの透かしに向けて
• Authors: Thibaud Gloaguen, Nikola Jovanović, Robin Staab, Martin Vechev,
• Abstract要約: 我々はオープンソースのLCM透かしの体系的研究の基礎を築いた。 最初に、一般的なモデル修正に対する耐久性を含む、重要な要件を明示的に定式化します。
• 参考スコア（独自算出の注目度）: 1.9374282535132377
• License:
• Abstract: While watermarks for closed LLMs have matured and have been included in large-scale deployments, these methods are not applicable to open-source models, which allow users full control over the decoding process. This setting is understudied yet critical, given the rising performance of open-source models. In this work, we lay the foundation for systematic study of open-source LLM watermarking. For the first time, we explicitly formulate key requirements, including durability against common model modifications such as model merging, quantization, or finetuning, and propose a concrete evaluation setup. Given the prevalence of these modifications, durability is crucial for an open-source watermark to be effective. We survey and evaluate existing methods, showing that they are not durable. We also discuss potential ways to improve their durability and highlight remaining challenges. We hope our work enables future progress on this important problem.
• Abstract（参考訳）: 閉じたLCMの透かしは成熟し、大規模なデプロイメントに含まれてきたが、これらの方法はオープンソースモデルには適用されず、ユーザーはデコードプロセスを完全に制御できる。 この設定は、オープンソースモデルのパフォーマンスが上昇していることを考えると、過小評価されている。 本研究では,オープンソースのLCM透かしの体系的研究の基礎を築いた。 モデルマージや量子化,ファインタニングなど,一般的なモデル修正に対する耐久性などの重要な要件を初めて明確に定式化し,具体的な評価設定を提案する。 これらの変更の頻度を考えると、オープンソースの透かしが有効であるためには耐久性が不可欠である。 既存の手法を調査・評価し,耐久性が低いことを示す。 また、耐久性を向上させる潜在的な方法について議論し、残る課題を強調します。 私たちの仕事は、この重要な問題の今後の進展を可能にすることを願っています。

関連論文リスト

• Rethinking Scale: The Efficacy of Fine-Tuned Open-Source LLMs in Large-Scale Reproducible Social Science Research [0.0]
  大規模言語モデル(LLM)は、パラメータのサイズと性能を規定するアーキテクチャによって区別される。 社会科学者はテキスト分類タスクにLLMを採用しており、人間のコーダーではスケールが難しい。 本研究は,ChatGPT-4 などのモデルに対して,小型かつ微調整のオープンソース LLM が同等あるいは優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-31T20:26:30Z)
• Watermarking Large Language Models and the Generated Content: Opportunities and Challenges [18.01886375229288]
  生成型大規模言語モデル(LLM)は知的財産権侵害や機械生成誤報の拡散に懸念を抱いている。 ウォーターマーキングは、所有権を確立し、許可されていない使用を防止し、LLM生成コンテンツの起源を追跡できる有望な手法として機能する。 本稿では,LLMをウォーターマークする際の課題と機会を要約し,共有する。
  論文  参考訳（メタデータ） (2024-10-24T18:55:33Z)
• WAPITI: A Watermark for Finetuned Open-Source LLMs [42.1087852764299]
  WAPITIはパラメータ統合によってベースモデルから微調整モデルに透かしを転送する新しい手法である。 提案手法は,透かしの注入に成功し,微調整モデルとの互換性が高いことを示す。
  論文  参考訳（メタデータ） (2024-10-09T01:41:14Z)
• Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
  大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。 本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。 ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-09-19T02:59:44Z)
• AquaLoRA: Toward White-box Protection for Customized Stable Diffusion Models via Watermark LoRA [67.68750063537482]
  拡散モデルは高品質な画像の生成において顕著な成功を収めた。 最近の研究は、SDモデルがポストホック法医学のための透かし付きコンテンツを出力できるようにすることを目的としている。 このシナリオにおける最初の実装としてtextttmethod を提案する。
  論文  参考訳（メタデータ） (2024-05-18T01:25:47Z)
• MarkLLM: An Open-Source Toolkit for LLM Watermarking [80.00466284110269]
  MarkLLMは、LLMウォーターマーキングアルゴリズムを実装するためのオープンソースのツールキットである。 評価のために、MarkLLMは3つの視点にまたがる12のツールと、2種類の自動評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2024-05-16T12:40:01Z)
• ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
  大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。 敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-03T06:41:48Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Double-I Watermark: Protecting Model Copyright for LLM Fine-tuning [45.09125828947013]
  提案手法は、微調整中に特定の透かし情報をカスタマイズされたモデルに効果的に注入する。 提案手法を各種微調整法で評価し, その無害性, 頑健性, 独特性, 不受容性, 妥当性を定量的および定性的な分析により検証した。
  論文  参考訳（メタデータ） (2024-02-22T04:55:14Z)
• Unbiased Watermark for Large Language Models [67.43415395591221]
  本研究では, モデル生成出力の品質に及ぼす透かしの影響について検討した。 出力確率分布に影響を与えることなく、透かしを統合することができる。 ウォーターマークの存在は、下流タスクにおけるモデルの性能を損なうものではない。
  論文  参考訳（メタデータ） (2023-09-22T12:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。