論文の概要: Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction

• arxiv url: http://arxiv.org/abs/2312.00855v1
• Date: Fri, 1 Dec 2023 15:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 20:26:49.979993
• Title: Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction
• Title（参考訳）: サンプルワイズプロトタイプとマルチリレーショナル抽出によるエンコーダの精製,判別,調整
• Authors: Shuchi Wu, Chuan Ma, Kang Wei, Xiaogang Xu, Ming Ding, Yuwen Qian, Tao Xiang
• Abstract要約: RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
• 参考スコア（独自算出の注目度）: 60.0276011074825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces RDA, a pioneering approach designed to address two primary deficiencies prevalent in previous endeavors aiming at stealing pre-trained encoders: (1) suboptimal performances attributed to biased optimization objectives, and (2) elevated query costs stemming from the end-to-end paradigm that necessitates querying the target encoder every epoch. Specifically, we initially Refine the representations of the target encoder for each training sample, thereby establishing a less biased optimization objective before the steal-training phase. This is accomplished via a sample-wise prototype, which consolidates the target encoder's representations for a given sample's various perspectives. Demanding exponentially fewer queries compared to the end-to-end approach, prototypes can be instantiated to guide subsequent query-free training. For more potent efficacy, we develop a multi-relational extraction loss that trains the surrogate encoder to Discriminate mismatched embedding-prototype pairs while Aligning those matched ones in terms of both amplitude and angle. In this way, the trained surrogate encoder achieves state-of-the-art results across the board in various downstream datasets with limited queries. Moreover, RDA is shown to be robust to multiple widely-used defenses.
• Abstract（参考訳）: 本稿では,事前学習したエンコーダを盗むための先駆的手法であるRDAを紹介する。(1)バイアス最適化の目的に起因した準最適性能,(2)目標エンコーダの問合せを毎回必要とするエンド・ツー・エンドのパラダイムに起因したクエリコストの増大。 具体的には、まず、各トレーニングサンプルに対する対象エンコーダの表現を洗練し、スレーブトレーニングフェーズ前にバイアスの少ない最適化目標を確立する。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 エンドツーエンドのアプローチに比べて指数関数的に少ないクエリを要求することで、プロトタイプをインスタンス化して、クエリフリーなトレーニングをガイドすることができる。 より強力な有効性を得るために,サロゲートエンコーダを訓練し,一致した埋め込み-プロトタイプペアを振幅と角度の両方でアライメントしながら識別するマルチリレーショナル抽出損失を開発する。 このようにして、トレーニングされたsurrogateエンコーダは、限られたクエリでさまざまなダウンストリームデータセットで、ボード全体の最先端結果を達成する。 さらに、RDAは複数の広く使用されている防御に対して堅牢であることが示されている。

関連論文リスト

• AEMLO: AutoEncoder-Guided Multi-Label Oversampling [6.255095509216069]
  AEMLOは、不均衡なマルチラベルデータに対するAutoEncoder-guided Oversampling技術である。 AEMLOは、既存の最先端手法よりも優れた性能を示し、広範な実証研究を行った。
  論文  参考訳（メタデータ） (2024-08-23T14:01:33Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• BOSS: Bidirectional One-Shot Synthesis of Adversarial Examples [8.359029046999233]
  本稿では,逆数例のワンショット合成を提案する。 入力はスクラッチから合成され、事前訓練されたモデルの出力で任意のソフト予測を誘導する。 本稿では,本フレームワークの汎用性と汎用性を示す。
  論文  参考訳（メタデータ） (2021-08-05T17:43:36Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)
• ESAD: End-to-end Deep Semi-supervised Anomaly Detection [85.81138474858197]
  正規データと異常データの間のKL偏差を計測する新たな目的関数を提案する。 提案手法は,複数のベンチマークデータセットの最先端性能を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-09T08:16:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。