論文の概要: MergePrint: Robust Fingerprinting against Merging Large Language Models
- arxiv url: http://arxiv.org/abs/2410.08604v1
- Date: Fri, 11 Oct 2024 08:00:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 22:54:46.415853
- Title: MergePrint: Robust Fingerprinting against Merging Large Language Models
- Title（参考訳）: MergePrint: 大規模言語モデルのマージに対するロバストフィンガープリント
- Authors: Shojiro Yamabe, Tsubasa Takahashi, Futa Waseda, Koki Wataoka,
- Abstract要約: 本稿では,モデルマージ後の所有権主張を保存すべく,頑健な指紋を埋め込んだ新しい指紋認証手法MergePrintを提案する。
擬似マージモデルに最適化することで、マージ後も検出可能な指紋を生成する。
このアプローチは、モデルマージによる誤適用の場合のオーナシップを主張するために、実用的なフィンガープリント戦略を提供する。
- 参考スコア（独自算出の注目度）: 1.9249287163937978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the cost of training large language models (LLMs) rises, protecting their intellectual property has become increasingly critical. Model merging, which integrates multiple expert models into a single model capable of performing multiple tasks, presents a growing risk of unauthorized and malicious usage. While fingerprinting techniques have been studied for asserting model ownership, existing methods have primarily focused on fine-tuning, leaving model merging underexplored. To address this gap, we propose a novel fingerprinting method MergePrint that embeds robust fingerprints designed to preserve ownership claims even after model merging. By optimizing against a pseudo-merged model, which simulates post-merged model weights, MergePrint generates fingerprints that remain detectable after merging. Additionally, we optimize the fingerprint inputs to minimize performance degradation, enabling verification through specific outputs from targeted inputs. This approach provides a practical fingerprinting strategy for asserting ownership in cases of misappropriation through model merging.
- Abstract（参考訳）: 大きな言語モデル(LLM)のトレーニングコストが上昇するにつれて、その知的財産を保護することがますます重要になっている。
複数の専門家モデルを統合するモデルマージは、複数のタスクを実行することができる単一のモデルに統合される。
フィンガープリント技術はモデルの所有権を主張するために研究されているが、既存の手法は主に微調整に焦点を当てており、モデルのマージは未調査のままである。
このギャップに対処するために,モデルマージ後にも所有権の主張を保持するために,頑健な指紋を埋め込む新しい指紋認証手法MergePrintを提案する。
マージ後のモデルの重みをシミュレートする擬似マージモデルに対して最適化することで、マージ後も検出可能な指紋を生成する。
さらに、指紋入力を最適化して性能劣化を最小限に抑え、ターゲット入力からの特定の出力による検証を可能にする。
このアプローチは、モデルマージによる誤適用の場合のオーナシップを主張するために、実用的なフィンガープリント戦略を提供する。
関連論文リスト
- ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。
敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる
ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
論文 参考訳（メタデータ） (2024-05-03T06:41:48Z) - Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging [25.327483618051378]
モデル統合シナリオにおけるIP保護手法の堅牢性に関する最初の研究を行う。
実験結果から,現在のLarge Language Model (LLM) の透かし技術は統合されたモデルでは生き残れないことが示唆された。
本研究の目的は,モデルIP保護手法の堅牢性評価において,モデルマージが不可欠であることを示すことである。
論文 参考訳（メタデータ） (2024-04-08T04:30:33Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - Model Synthesis for Zero-Shot Model Attribution [26.835046772924258]
生成モデルは、芸術、デザイン、人間とコンピュータの相互作用などの様々な分野を形作っている。
実世界の生成モデルの指紋パターンを模倣した多数の合成モデルを生成するモデル合成手法を提案する。
実験により, この指紋抽出装置は, 合成モデルのみを訓練し, 様々な実世界の生成モデルに対して, 印象的なゼロショットの一般化を実現することができた。
論文 参考訳（メタデータ） (2023-07-29T13:00:42Z) - WOUAF: Weight Modulation for User Attribution and Fingerprinting in Text-to-Image Diffusion Models [32.29120988096214]
本稿では,生成画像に責任を負うモデルフィンガープリントの新たなアプローチを提案する。
提案手法は,ユーザ固有のデジタル指紋に基づいて生成モデルを修正し,ユーザへ遡ることができるコンテンツにユニークな識別子を印字する。
論文 参考訳（メタデータ） (2023-06-07T19:44:14Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳（メタデータ） (2023-05-30T10:07:17Z) - Attributing Image Generative Models using Latent Fingerprints [33.037718660732544]
生成モデルにより、自然から取られたものと区別できないコンテンツの作成が可能になった。
リスク軽減戦略の1つは、指紋認証による生成モデルの属性付けである。
本稿では,指紋としての潜在意味論の活用について検討する。
論文 参考訳（メタデータ） (2023-04-17T00:13:10Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Are You Stealing My Model? Sample Correlation for Fingerprinting Deep
Neural Networks [86.55317144826179]
従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。
本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。
SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
論文 参考訳（メタデータ） (2022-10-21T02:07:50Z) - Learning Robust Representations Of Generative Models Using Set-Based
Artificial Fingerprints [14.191129493685212]
既存の手法はサンプル分布を通してモデル間の距離を近似する。
我々は、生成モデルの表現として、ユニークな痕跡(いわゆる「人工指紋」)を考える。
セットエンコーディングとコントラスト学習に基づく新しい学習手法を提案する。
論文 参考訳（メタデータ） (2022-06-04T23:20:07Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。