論文の概要: PoLO: Proof-of-Learning and Proof-of-Ownership at Once with Chained Watermarking
- arxiv url: http://arxiv.org/abs/2505.12296v1
- Date: Sun, 18 May 2025 08:19:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.147258
- Title: PoLO: Proof-of-Learning and Proof-of-Ownership at Once with Chained Watermarking
- Title(参考訳): PoLO: チェーンウォーターマーキングによる学習の促進と学習の促進
- Authors: Haiyu Deng, Yanna Jiang, Guangsheng Yu, Qin Wang, Xu Wang, Baihe Ma, Wei Ni, Ren Ping Liu,
- Abstract要約: 本稿では,連鎖した透かしを用いてPoL(Proof-of-Learning)とPoO(Proof-of-Ownership)を同時に実現する統一フレームワークを提案する。
PoLOは、バニラPoLソリューションよりも効率的でプライバシー保護の検証を提供する。
評価の結果,PoLOはデータプライバシの保持と検証コストの削減を従来の手法の1.5~10%に抑えながら,所有権確認のための透かし検出精度を99%向上することがわかった。
- 参考スコア(独自算出の注目度): 23.332813785323182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models are increasingly shared and outsourced, raising requirements of verifying training effort (Proof-of-Learning, PoL) to ensure claimed performance and establishing ownership (Proof-of-Ownership, PoO) for transactions. When models are trained by untrusted parties, PoL and PoO must be enforced together to enable protection, attribution, and compensation. However, existing studies typically address them separately, which not only weakens protection against forgery and privacy breaches but also leads to high verification overhead. We propose PoLO, a unified framework that simultaneously achieves PoL and PoO using chained watermarks. PoLO splits the training process into fine-grained training shards and embeds a dedicated watermark in each shard. Each watermark is generated using the hash of the preceding shard, certifying the training process of the preceding shard. The chained structure makes it computationally difficult to forge any individual part of the whole training process. The complete set of watermarks serves as the PoL, while the final watermark provides the PoO. PoLO offers more efficient and privacy-preserving verification compared to the vanilla PoL solutions that rely on gradient-based trajectory tracing and inadvertently expose training data during verification, while maintaining the same level of ownership assurance of watermark-based PoO schemes. Our evaluation shows that PoLO achieves 99% watermark detection accuracy for ownership verification, while preserving data privacy and cutting verification costs to just 1.5-10% of traditional methods. Forging PoLO demands 1.1-4x more resources than honest proof generation, with the original proof retaining over 90% detection accuracy even after attacks.
- Abstract(参考訳): マシンラーニングモデルは、ますます共有され、アウトソース化され、要求されたパフォーマンスを確実にし、トランザクションのためのオーナシップ(Proof-of-Ownership、PoO)を確立するためのトレーニング作業(Proof-of-Learning、PoL)を検証する要件が提起される。
モデルが信頼できない関係者によってトレーニングされた場合、PoLとPoOは保護、帰属、補償を可能にするために一緒に実施されなければならない。
しかし、既存の研究は通常これらを別々に扱い、偽造やプライバシー侵害に対する保護を弱めるだけでなく、高い検証オーバーヘッドをもたらす。
連鎖した透かしを用いたPoLとPoOを同時に実現する統一フレームワークPoLOを提案する。
PoLOはトレーニングプロセスをきめ細かいトレーニングシャードに分割し、各シャードに専用のウォーターマークを埋め込む。
各透かしは、前シャードのハッシュを用いて生成され、前シャードのトレーニングプロセスが認証される。
連鎖構造により、トレーニングプロセス全体の個々の部分をフォージすることが計算的に困難になる。
完全な透かしはPoLとして機能し、最後の透かしはPoOとして機能する。
PoLOは、勾配ベースの軌道追跡に依存するバニラPoLソリューションと比較して、より効率的でプライバシ保護の検証を提供すると同時に、透かしベースのPoOスキームと同じレベルのオーナシップ保証を維持しながら、検証中のトレーニングデータを不注意に公開する。
評価の結果,PoLOはデータプライバシの保持と検証コストの削減を従来の手法の1.5~10%に抑えながら,所有権確認のための透かし検出精度を99%向上することがわかった。
PoLOのフォークは、正直な証明生成よりも1.1-4倍のリソースを必要とし、元の証明は攻撃後も90%以上の検出精度を維持している。
関連論文リスト
- Robust Data Watermarking in Language Models by Injecting Fictitious Knowledge [31.766208360156906]
言語モデルのデータ透かしは、トークンシーケンスやスタイルパターンなどのトレース可能な信号を著作権のあるテキストに注入する。
従来のデータ透かし技術は主に事前訓練後の効果的な記憶に焦点を当てていた。
トレーニングデータにコヒーレントで確実な知識を注入する新しいデータ透かし手法を提案する。
論文 参考訳(メタデータ) (2025-03-06T02:40:51Z) - Can LLM Watermarks Robustly Prevent Unauthorized Knowledge Distillation? [75.99961894619986]
本稿では,学生モデルが知識蒸留により,透かしの継承を回避しつつ,教師モデルの能力を獲得することができるかどうかを考察する。
本稿では,未ターゲットおよび目標とするトレーニングデータパラフレージング(UP,TP)による蒸留前除去と,推論時透かし中和(WN)による蒸留後除去の2つのカテゴリを提案する。
論文 参考訳(メタデータ) (2025-02-17T09:34:19Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Ownership Verification with Reasoning [58.57194301645823]
大規模言語モデル (LLM) は、検索強化生成機構 (RAG) を通じて現実のアプリケーションに統合されつつある。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、通常、中毒攻撃を伴う。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳(メタデータ) (2025-02-10T09:15:56Z) - Proving membership in LLM pretraining data via data watermarks [20.57538940552033]
この研究は、ブラックボックスモデルアクセスのみで原則付き検出を可能にするために、データ透かしを使うことを提案する。
ランダムなシーケンスを挿入する2つの透かしと、Unicodeに似た文字をランダムに置換する2つの透かしについて検討する。
BLOOM-176Bのトレーニングデータから,少なくとも90回はハッシュを確実に検出できることを示す。
論文 参考訳(メタデータ) (2024-02-16T18:49:27Z) - Who Leaked the Model? Tracking IP Infringers in Accountable Federated Learning [51.26221422507554]
Federated Learning (FL) は、大規模で分散したクライアントからのデータと計算リソースを調整する効果的な協調学習フレームワークである。
このようなコラボレーションは、個々のユーザではなく、パーティー全体によって保護され、共有されるべきモデルパラメータによって表現される非自明な知的財産(IP)をもたらす。
このようなIPリークをブロックするためには、IPを共有モデルで識別し、最初にリークした匿名の侵害者を特定することが不可欠である。
本稿では,説明責任FLの要件を満たすために,Dudeable Unique Watermarking (DUW)を提案する。
論文 参考訳(メタデータ) (2023-12-06T00:47:55Z) - Safe and Robust Watermark Injection with a Single OoD Image [90.71804273115585]
高性能なディープニューラルネットワークをトレーニングするには、大量のデータと計算リソースが必要である。
安全で堅牢なバックドア型透かし注入法を提案する。
我々は,透かし注入時のモデルパラメータのランダムな摂動を誘導し,一般的な透かし除去攻撃に対する防御を行う。
論文 参考訳(メタデータ) (2023-09-04T19:58:35Z) - Proof-of-Learning is Currently More Broken Than You Think [41.3211535926634]
本稿では,Proof-of-Learning(PoL)検証の異なる構成で再現できる最初のスプーフィング戦略を紹介する。
我々はPoLの重要な脆弱性を特定し、証明の堅牢な検証に必要な前提条件を体系的に分析する。
我々は,ディープラーニングにおける最適化のさらなる理解なしに,実証可能な堅牢なPoL検証機構を開発することはできないと結論づける。
論文 参考訳(メタデータ) (2022-08-06T19:07:07Z) - Don't Forget to Sign the Gradients! [60.98885980669777]
GradSignsはディープニューラルネットワーク(DNN)のための新しい透かしフレームワーク
深部ニューラルネットワーク(DNN)のための新しい透かしフレームワークであるGradSignsを紹介します。
論文 参考訳(メタデータ) (2021-03-05T14:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。