論文の概要: Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging

• arxiv url: http://arxiv.org/abs/2404.05188v1
• Date: Mon, 8 Apr 2024 04:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 15:33:28.633436
• Title: Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging
• Title（参考訳）: 私のモデルをマージしたか? 大規模言語モデルIP保護法のモデルマージに対するロバスト性について
• Authors: Tianshuo Cong, Delong Ran, Zesen Liu, Xinlei He, Jinyuan Liu, Yichen Gong, Qi Li, Anyu Wang, Xiaoyun Wang,
• Abstract要約: モデルマージシナリオにおけるIP保護手法の堅牢性に関する最初の研究を行う。 我々は、量子化ウォーターマーキングと命令フィンガープリントの2つの最先端IP保護技術について検討する。 実験結果から,現在のLarge Language Model (LLM) の透かし技術はマージモデルでは生き残れないが,モデルフィンガープリント技術では生き残ることが示唆された。
• 参考スコア（独自算出の注目度）: 25.327483618051378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging is a promising lightweight model empowerment technique that does not rely on expensive computing devices (e.g., GPUs) or require the collection of specific training data. Instead, it involves editing different upstream model parameters to absorb their downstream task capabilities. However, uncertified model merging can infringe upon the Intellectual Property (IP) rights of the original upstream models. In this paper, we conduct the first study on the robustness of IP protection methods in model merging scenarios. We investigate two state-of-the-art IP protection techniques: Quantization Watermarking and Instructional Fingerprint, along with various advanced model merging technologies, such as Task Arithmetic, TIES-MERGING, and so on. Experimental results indicate that current Large Language Model (LLM) watermarking techniques cannot survive in the merged models, whereas model fingerprinting techniques can. Our research aims to highlight that model merging should be an indispensable consideration in the robustness assessment of model IP protection techniques, thereby promoting the healthy development of the open-source LLM community.
• Abstract（参考訳）: モデルマージは、高価なコンピューティングデバイス(GPUなど)に依存しない、あるいは特定のトレーニングデータの収集を必要としない、有望な軽量モデルエンパワーメント技術である。 代わりに、下流のタスク機能を吸収するために、さまざまな上流モデルのパラメータを編集する。 しかし、認証されていないモデルのマージは、元の上流モデルの知的財産権(IP)を侵害することができる。 本稿では,モデル統合シナリオにおけるIP保護手法の堅牢性に関する最初の研究を行う。 本稿では、量子化透かしとインストラクショナルフィンガープリントと、タスク算術、TIES-MERGINGなどの高度なモデル統合技術について検討する。 実験結果から,現在のLarge Language Model (LLM) の透かし技術はマージモデルでは生き残れないが,モデルフィンガープリント技術では生き残ることが示唆された。 本研究の目的は, モデル統合は, モデルIP保護技術の堅牢性評価において不可欠であるべきであり, オープンソースLLMコミュニティの健全な開発を促進することである。

関連論文リスト

• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• MergePrint: Robust Fingerprinting against Merging Large Language Models [1.9249287163937978]
  本稿では,モデルマージ後の所有権主張を保存すべく,頑健な指紋を埋め込んだ新しい指紋認証手法MergePrintを提案する。 擬似マージモデルに最適化することで、マージ後も検出可能な指紋を生成する。 このアプローチは、モデルマージによる誤適用の場合のオーナシップを主張するために、実用的なフィンガープリント戦略を提供する。
  論文  参考訳（メタデータ） (2024-10-11T08:00:49Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• ModelShield: Adaptive and Robust Watermark against Model Extraction Attack [58.46326901858431]
  大規模言語モデル(LLM)は、さまざまな機械学習タスクにまたがる汎用インテリジェンスを示す。 敵はモデル抽出攻撃を利用して モデル生成で符号化された モデルインテリジェンスを盗むことができる ウォーターマーキング技術は、モデル生成コンテンツにユニークな識別子を埋め込むことによって、このような攻撃を防御する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-05-03T06:41:48Z)
• Towards Scalable and Robust Model Versioning [30.249607205048125]
  ディープラーニングモデルへのアクセスを目的とした悪意ある侵入が増えている。 異なる攻撃特性を持つモデルの複数バージョンを生成する方法を示す。 モデル学習データにパラメータ化された隠れ分布を組み込むことでこれを実現できることを示す。
  論文  参考訳（メタデータ） (2024-01-17T19:55:49Z)
• Probabilistically Robust Watermarking of Neural Networks [4.332441337407564]
  我々は、攻撃を盗む機能に対するレジリエンスを示す新しいトリガーセットベースの透かし手法を導入する。 私たちのアプローチでは、追加のモデルトレーニングは必要とせず、どんなモデルアーキテクチャにも適用できます。
  論文  参考訳（メタデータ） (2024-01-16T10:32:13Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Self-Destructing Models: Increasing the Costs of Harmful Dual Uses of Foundation Models [103.71308117592963]
  本稿ではメタラーニングと逆学習の技法を活用した自己破壊モデルの学習アルゴリズムを提案する。 小規模な実験では、MLACは、BERTスタイルのモデルが性別識別を行うために再目的化されることをほとんど防ぐことができることを示す。
  論文  参考訳（メタデータ） (2022-11-27T21:43:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。