論文の概要: Locking Pretrained Weights via Deep Low-Rank Residual Distillation

• arxiv url: http://arxiv.org/abs/2605.10777v1
• Date: Mon, 11 May 2026 16:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.969174
• Title: Locking Pretrained Weights via Deep Low-Rank Residual Distillation
• Title（参考訳）: 深部低比重蒸留による既設重量のロック
• Authors: Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi,
• Abstract要約: 我々は、適応攻撃者に対する新しい防御手段として、自動微分の推論訓練を利用する。 そこで本研究では,DLR-Lockを提案する。DLR-Lockは,モデルのプリトレーニング済みパラメータを,同値のディープ低ランク残差ネットワーク(DLR-Net)に意図的に置き換える手法である。 我々の防衛は、元のモデルの能力を保ちながら、防御戦略を十分に理解した適応攻撃者に耐えることに成功した。
• 参考スコア（独自算出の注目度）: 31.050349139080286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quality of open-weight language models has dramatically improved in recent years. Sharing weights greatly facilitates model adoption by enabling their use across diverse hardware and software platforms. They also allow for more open research and testing, to the extent that users can use them as checkpoints, fine-tune them according to their needs, and potentially redistribute them. In some cases, however, concerns on modifying these weights towards unauthorized uses may outweigh the pros of giving users such a freedom. Defending against such adaptation is non-trivial: since an adaptive attacker can observe all weights and architectures by definition, they can reverse simple structural defenses, and use optimization to defeat the simplest locking mechanisms. In this work, we exploit the inference-training asymmetry of automatic differentiation as a novel defense axis. We propose DLR-Lock, a method where the purveyor of the model purposely replaces each pretrained MLP in their model with a deep low-rank residual network (DLR-Net) of comparable parameter count, forcing activation memory that grows linearly with depth during backpropagation. DLR-Nets are efficiently trained via module-wise distillation. We show that, beyond this memory overhead, DLR-Lock results in architectural mismatches that complicate the optimization landscape of standard fine-tuning, and a backward pass that incurs disproportionately more overhead than the forward pass. Our defense succeeds in withstanding adaptive attackers with full knowledge of the defense strategy while preserving the original model's capabilities. Experiments on LLM validate these claims.
• Abstract（参考訳）: オープンウェイト言語モデルの質は近年劇的に改善されている。 重みを共有することで、さまざまなハードウェアやソフトウェアプラットフォームで使用できるようになることで、モデルの採用が大幅に促進される。 また、よりオープンな調査やテストも可能で、ユーザーがチェックポイントとして使用したり、必要に応じて微調整したり、再配布したりできる。 しかし、一部のケースでは、これらの重み付けを不正使用に修正するという懸念は、ユーザーにそのような自由を与えるという利点を上回る可能性がある。 適応攻撃者は定義によってすべての重みとアーキテクチャを観測できるため、単純な構造的防御を逆転させ、最適化を使用して最も単純なロック機構を倒すことができる。 本研究では, 自動微分の予測学習非対称性を新しい防衛軸として活用する。 DLR-Lock は,モデルが事前学習した各MLPを,パラメータ数に比例するディープ低ランク残差ネットワーク (DLR-Net) に置き換える手法であり,バックプロパゲーション中に線形に成長するアクティベーションメモリを強制する。 DLR-Netはモジュールワイド蒸留によって効率的に訓練される。 このメモリオーバーヘッドを超えて、DLR-Lockは、標準的な微調整の最適化環境を複雑にするアーキテクチャミスマッチと、前方パスよりも不均等に多くのオーバーヘッドを引き起こす後方パスが生じることを示す。 我々の防衛は、元のモデルの能力を保ちながら、防御戦略を十分に理解した適応攻撃者に耐えることに成功した。 LLMの実験はこれらの主張を検証する。

関連論文リスト

• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• MARS: A Malignity-Aware Backdoor Defense in Federated Learning [51.77354308287098]
  最近提案されたSOTA攻撃(3DFed)は、ディフェンダーがバックドアモデルを受け入れたかどうかを判断するためにインジケータ機構を使用する。 本稿では,各ニューロンの有害な範囲を示すためにバックドアエネルギーを利用するMARS(Maignity-Aware backdooR defenSe)を提案する。 実験により、MARSはSOTAのバックドア攻撃に対して防御でき、既存の防御を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2025-09-21T14:50:02Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• MISLEADER: Defending against Model Extraction with Ensembles of Distilled Models [56.09354775405601]
  モデル抽出攻撃は、クエリアクセスを通じてブラックボックスモデルの機能を複製することを目的としている。 既存のディフェンスでは、アタッカークエリにはオフ・オブ・ディストリビューション(OOD)サンプルがあることを前提としており、不審な入力を検出し破壊することができる。 OOD仮定に依存しない新しい防衛戦略であるMISLEADERを提案する。
  論文  参考訳（メタデータ） (2025-06-03T01:37:09Z)
• CTRAP: Embedding Collapse Trap to Safeguard Large Language Models from Harmful Fine-Tuning [12.293101110323722]
  ファインチューニング・アズ・ア・サービス(英語版)は、有害なファインチューニング攻撃に対してモデルを公開する。 我々は、選択的な除去ではなく、モデル崩壊を誘発するパラダイムシフトを提案する。 この崩壊は、攻撃者が悪用する非常に一般的な機能を直接中和する。
  論文  参考訳（メタデータ） (2025-05-22T11:47:08Z)
• Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
  低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。 本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
  論文  参考訳（メタデータ） (2024-10-05T15:52:47Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• How to Robustify Black-Box ML Models? A Zeroth-Order Optimization Perspective [74.47093382436823]
  入力クエリと出力フィードバックだけでブラックボックスモデルを堅牢化する方法? 我々は,ブラックボックスモデルに適用可能な防御操作の一般的な概念を提案し,それを復号化スムーシング(DS)のレンズを通して設計する。 我々は,ZO-AE-DSが既存のベースラインよりも精度,堅牢性,クエリの複雑さを向上できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-03-27T03:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。