論文の概要: Archilles' Heel in Semi-open LLMs: Hiding Bottom against Recovery Attacks

• arxiv url: http://arxiv.org/abs/2410.11182v1
• Date: Tue, 15 Oct 2024 02:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:16.880132
• Title: Archilles' Heel in Semi-open LLMs: Hiding Bottom against Recovery Attacks
• Title（参考訳）: セミオープン LLM におけるアーチールのヒール:リカバリ攻撃に対するボトムの保護
• Authors: Hanbo Huang, Yihan Li, Bowen Jiang, Lin Liu, Ruoyu Sun, Zhuotao Liu, Shiyu Liang,
• Abstract要約: クローズドソース層が少ないセミオープンモデルの設計について検討する。 我々は,いくつかの底層のみをクローズドソースとして保持する新しいアプローチである textbfSCARA を提案する。
• 参考スコア（独自算出の注目度）: 16.086988390549898
• License:
• Abstract: Closed-source large language models deliver strong performance but have limited downstream customizability. Semi-open models, combining both closed-source and public layers, were introduced to improve customizability. However, parameters in the closed-source layers are found vulnerable to recovery attacks. In this paper, we explore the design of semi-open models with fewer closed-source layers, aiming to increase customizability while ensuring resilience to recovery attacks. We analyze the contribution of closed-source layer to the overall resilience and theoretically prove that in a deep transformer-based model, there exists a transition layer such that even small recovery errors in layers before this layer can lead to recovery failure. Building on this, we propose \textbf{SCARA}, a novel approach that keeps only a few bottom layers as closed-source. SCARA employs a fine-tuning-free metric to estimate the maximum number of layers that can be publicly accessible for customization. We apply it to five models (1.3B to 70B parameters) to construct semi-open models, validating their customizability on six downstream tasks and assessing their resilience against various recovery attacks on sixteen benchmarks. We compare SCARA to baselines and observe that it generally improves downstream customization performance and offers similar resilience with over \textbf{10} times fewer closed-source parameters. We empirically investigate the existence of transition layers, analyze the effectiveness of our scheme and finally discuss its limitations.
• Abstract（参考訳）: クローズドソースの大規模言語モデルは強力なパフォーマンスを提供するが、ダウンストリームのカスタマイズ性は制限されている。 クローズドソース層とパブリック層を組み合わせたセミオープンモデルは、カスタマイズ性を改善するために導入された。 しかし、クローズドソース層のパラメータはリカバリ攻撃に対して脆弱である。 そこで本稿では,リカバリ攻撃に対するレジリエンスを確保しつつ,カスタマイズ性を向上させることを目的とした,クローズドソース層が少ないセミオープンモデルの設計について検討する。 我々は, 閉ソース層が全体のレジリエンスに与える影響を解析し, ディープトランスフォーマーベースモデルでは, この層より前の層での小さな回復誤差でも回復不良を引き起こすような遷移層が存在することを理論的に証明する。 これに基づいて、いくつかの下層のみをクローズドソースとして保持する新しいアプローチである \textbf{SCARA} を提案する。 SCARAは、カスタマイズのために一般にアクセス可能なレイヤの最大数を見積もるために、微調整なしのメトリクスを使用している。 半オープンなモデルを構築するために5つのモデル(1.3Bから70Bのパラメータ)に適用し、6つの下流タスクでのカスタマイズ性を検証し、16のベンチマークでの様々なリカバリ攻撃に対するレジリエンスを評価する。 SCARAをベースラインと比較し、一般的にダウンストリームのカスタマイズ性能を改善し、textbf{10} 倍以上のクローズドソースパラメータを持つ同様のレジリエンスを提供することを観察する。 遷移層の存在を実証的に調査し,提案手法の有効性を分析し,その限界について論じる。

関連論文リスト

• Chip-Tuning: Classify Before Language Models Say [25.546473157624945]
  チップチューニングは、分類問題に対するシンプルで効果的な構造化プルーニングフレームワークである。 チップチューニングは,従来の最先端のベースラインを精度とプルーニング比の両方で大幅に上回っていることを示す。 また、チップチューニングはマルチモーダルモデルに適用でき、モデル微調整と組み合わせることで、優れた互換性が証明できる。
  論文  参考訳（メタデータ） (2024-10-09T04:35:22Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• The Unreasonable Ineffectiveness of the Deeper Layers [5.984361440126354]
  本研究では,オープンウェイトプレトレーニング LLM の一般家庭を対象とした簡易な階層分割戦略について検討する。 レイヤーの大部分が取り除かれるまで、パフォーマンスの最小限の劣化が見られます。 科学的見地からすると、これらのLCMの堅牢性からレイヤの削除は、現在の事前学習手法がネットワークの深い層におけるパラメータを適切に活用していない、あるいは浅い層が知識を保存する上で重要な役割を担っていることを示唆している。
  論文  参考訳（メタデータ） (2024-03-26T17:20:04Z)
• LaCo: Large Language Model Pruning via Layer Collapse [56.92068213969036]
  トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。 モデル量子化、知識蒸留、モデルプルーニングといった既存の手法は、様々な問題によって制約されている。 後部モデル層が前層に崩壊する「textitLayer Collapse (LaCo)」と呼ばれる簡潔な層構造プルーナーを提案する。
  論文  参考訳（メタデータ） (2024-02-17T04:16:30Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Multiscale Latent-Guided Entropy Model for LiDAR Point Cloud Compression [18.897023700334458]
  LiDAR点雲(LPC)の非均一分布と極めてスパースの性質は、その高効率圧縮に重大な課題をもたらす。 本稿では,従来のLPCをオクツリー構造にエンコードし,階層的にオクツリーエントロピーモデルを階層的に分解する,エンド・ツー・エンドで完全に構成された新しいディープ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-26T08:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。