論文の概要: Bootstrap The Original Latent: Freeze-and-thaw Adapter for Back-Propagated Black-Box Adaptation

• arxiv url: http://arxiv.org/abs/2303.03709v1
• Date: Tue, 7 Mar 2023 07:47:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 16:08:11.377423
• Title: Bootstrap The Original Latent: Freeze-and-thaw Adapter for Back-Propagated Black-Box Adaptation
• Title（参考訳）: Bootstrap The Original Latent: バックプロパゲートブラックボックス適応用フリーズ・アンド・ソーアダプター
• Authors: Shuai Wang, Daoan Zhang, Jianguo Zhang, Weiwei Zhang, and Rui Li
• Abstract要約: ユーザが自分のプライベートモデルをよりよく訓練するための、Back-Propagated Black-Box Adaptation (BPBA) という新しい設定を提案する。 また,ベース/ソースモデルを完全に活用するためのBootstrap The Original Latent(BTOL)という新たなトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 9.38276017797851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, considering the balance of data/model privacy of model owners and user needs, we propose a new setting called Back-Propagated Black-Box Adaptation (BPBA) for users to better train their private models via the guidance of the back-propagated results of foundation/source models. Our setting can ease the usage of foundation/source models as well as prevent the leakage and misuse of foundation/source models. Moreover, we also propose a new training strategy called Bootstrap The Original Latent (BTOL) to fully utilize the foundation/source models. Our strategy consists of a domain adapter and a freeze-and-thaw strategy. We apply our BTOL under BPBA and Black-box UDA settings on three different datasets. Experiments show that our strategy is efficient and robust in various settings without manual augmentations.
• Abstract（参考訳）: 本稿では,モデルオーナとユーザニーズのデータ/モデルプライバシのバランスを考慮し,基盤/ソースモデルのバックプロパゲーション結果のガイダンスを通じて,ユーザによるプライベートモデルのトレーニングを改善するために,バックプロパゲートブラックボックス適応(bpba)と呼ばれる新しい設定を提案する。 私たちの設定は、ファンデーション/ソースモデルの使用を容易にし、ファンデーション/ソースモデルの漏洩や誤用を防ぎます。 さらに,基盤/ソースモデルを完全に活用するためのBootstrap The Original Latent(BTOL)という新たなトレーニング戦略を提案する。 当社の戦略はドメインアダプタとフリーズ・アンド・ザウ戦略で構成されています。 3つのデータセットに対してBPBAとBlack-box UDA設定でBTOLを適用します。 実験の結果,手作業による拡張を伴わずに,戦略が効率的かつ堅牢であることが確認された。

関連論文リスト

• FedBaF: Federated Learning Aggregation Biased by a Foundation Model [18.9167697157582]
  ファンデーションモデルを新しいアプリケーションに適用するための既存のアプローチは、しばしばフェデレートラーニング(FL)に依存し、グローバルモデルの初期化に使用する際に、ファンデーションモデルの重みをクライアントに開示する。 本稿では,FedBaF(FedBaF)によるFederated Learning Aggregation Biasedを紹介する。FedBaFは,FLアグリゲーションフェーズにおいて,事前学習した基礎モデルの重みを動的に統合する手法である。 従来の方法とは異なり、FedBaFは基礎モデルの機密性を保ちながら、特に非IIDおよび敵のシナリオにおいて、より正確なモデルのトレーニングにその能力を活用している。
  論文  参考訳（メタデータ） (2024-10-24T01:14:23Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Army of Thieves: Enhancing Black-Box Model Extraction via Ensemble based sample selection [10.513955887214497]
  Model Stealing Attacks (MSA)では、ラベル付きデータセットを構築するために、機械学習モデルを繰り返しクエリされる。 本研究では,泥棒モデルとして深層学習モデルのアンサンブルの利用について検討する。 CIFAR-10データセットでトレーニングしたモデルに対して,従来よりも21%高い逆サンプル転送性を実現する。
  論文  参考訳（メタデータ） (2023-11-08T10:31:29Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Reinforcement Learning-Based Black-Box Model Inversion Attacks [23.30144908939099]
  モデル反転攻撃は、機械学習モデルのトレーニングに使用されるプライベートデータを再構築する。 パブリックデータセットから知識を抽出するためにGAN(Generative Adversarial Networks)を利用したホワイトボックスモデルインバージョン攻撃が注目されている。 強化学習に基づくブラックボックスモデルインバージョン攻撃を提案する。
  論文  参考訳（メタデータ） (2023-04-10T14:41:16Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Offsite-Tuning: Transfer Learning without Full Model [21.460079553685713]
  Offsite-tuningは、プライバシ保護と効率的な転送学習フレームワークである。 オフサイトチューニングは、フルモデルファインチューニングと同等の精度を達成することができる。
  論文  参考訳（メタデータ） (2023-02-09T18:59:55Z)
• Model Ratatouille: Recycling Diverse Models for Out-of-Distribution Generalization [99.6826401545377]
  ファウンデーションモデルは、AIシステムの構築方法を再定義している。実践者は、機械学習ソリューションを構築するための標準手順に従う。 我々は,多種多様な補助的タスクにおいて,同じ基礎モデルの複数の微調整をリサイクルする新しい戦略であるモデルラタトゥーイユを提案する。
  論文  参考訳（メタデータ） (2022-12-20T17:21:46Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。