論文の概要: Split Adaptation for Pre-trained Vision Transformers

• arxiv url: http://arxiv.org/abs/2503.00441v1
• Date: Sat, 01 Mar 2025 10:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:22.916566
• Title: Split Adaptation for Pre-trained Vision Transformers
• Title（参考訳）: 事前学習型視覚変換器の分割適応
• Authors: Lixu Wang, Bingqi Shang, Yi Li, Payal Mohapatra, Wei Dong, Xiao Wang, Qi Zhu,
• Abstract要約: 本稿では,データやモデルを保護しながら,効果的な下流適応を可能にする分割適応(SA)手法を提案する。 通常のSLとは異なり、SAはパラメータを低ビットの量子化値に置き換え、モデルの直接露光を防ぐ。 SAは、ノイズ注入が適応性能に与える影響を軽減するために、データレベルとモデルレベルのアウト・オブ・ディストリビューションの強化を取り入れている。
• 参考スコア（独自算出の注目度）: 17.25680016753443
• License:
• Abstract: Vision Transformers (ViTs), extensively pre-trained on large-scale datasets, have become essential to foundation models, allowing excellent performance on diverse downstream tasks with minimal adaptation. Consequently, there is growing interest in adapting pre-trained ViTs across various fields, including privacy-sensitive domains where clients are often reluctant to share their data. Existing adaptation methods typically require direct data access, rendering them infeasible under these constraints. A straightforward solution may be sending the pre-trained ViT to clients for local adaptation, which poses issues of model intellectual property protection and incurs heavy client computation overhead. To address these issues, we propose a novel split adaptation (SA) method that enables effective downstream adaptation while protecting data and models. SA, inspired by split learning (SL), segments the pre-trained ViT into a frontend and a backend, with only the frontend shared with the client for data representation extraction. But unlike regular SL, SA replaces frontend parameters with low-bit quantized values, preventing direct exposure of the model. SA allows the client to add bi-level noise to the frontend and the extracted data representations, ensuring data protection. Accordingly, SA incorporates data-level and model-level out-of-distribution enhancements to mitigate noise injection's impact on adaptation performance. Our SA focuses on the challenging few-shot adaptation and adopts patch retrieval augmentation for overfitting alleviation. Extensive experiments on multiple datasets validate SA's superiority over state-of-the-art methods and demonstrate its defense against advanced data reconstruction attacks while preventing model leakage with minimal computation cost on the client side. The source codes can be found at https://github.com/conditionWang/Split_Adaptation.
• Abstract（参考訳）: 大規模なデータセットで広く事前訓練されたビジョントランスフォーマー(ViT)は、基礎モデルに不可欠なものとなり、最小限の適応で下流の様々なタスクにおいて優れたパフォーマンスを実現している。 その結果、クライアントがデータを共有するのを嫌がるプライバシーに敏感なドメインなど、さまざまな分野において事前訓練されたViTを適用することへの関心が高まっている。 既存のアダプティブメソッドは、通常、直接データアクセスを必要とし、これらの制約の下でそれらを無効にする。 簡単な解決策は、訓練済みのViTをクライアントに送信して、ローカルに適応させることで、モデル知的財産保護の問題を発生させ、クライアントの計算オーバーヘッドを増大させる。 これらの課題に対処するために,データやモデルを保護しながら,効果的な下流適応を可能にする分割適応(SA)手法を提案する。 分割学習(SL)にインスパイアされたSAは、トレーニング済みのViTをフロントエンドとバックエンドに分割し、フロントエンドのみをクライアントと共有してデータ表現抽出を行う。 しかし、通常のSLとは異なり、SAはフロントエンドパラメータを低ビットの量子化値に置き換え、モデルの直接露光を防ぐ。 SAにより、クライアントはフロントエンドと抽出されたデータ表現にバイレベルノイズを追加でき、データ保護が保証される。 そのため、SAは、ノイズ注入が適応性能に与える影響を軽減するために、データレベルとモデルレベルのアウト・オブ・ディストリビューションの強化を取り入れている。 我々のSAは、難易度少数の適応に重点を置いており、緩和の過度な適合にパッチ検索の強化を取り入れている。 複数のデータセットに対する大規模な実験は、SAが最先端の手法よりも優れていることを検証し、クライアント側で最小の計算コストでモデルリークを防止しつつ、高度なデータ再構成攻撃に対する防御を実証する。 ソースコードはhttps://github.com/conditionWang/Split_Adaptationにある。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Enhancing Accuracy-Privacy Trade-off in Differentially Private Split Learning [2.2676798389997863]
  Split Learning(SL)は、クライアントサーバ間で詳細なモデルを分散し、プライベートデータをローカルに保持することで、ユーザのデータプライバシを保護することを目的としている。 最近提案されたモデル反転攻撃は、スマッシュされたデータから元のデータを復元することができる。 ディファレンシャルプライバシ(DP)を採用する戦略では、スマッシュされたデータをある程度の精度の損失を犠牲にして保護する。
  論文  参考訳（メタデータ） (2023-10-22T22:45:13Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
  適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。 FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
  論文  参考訳（メタデータ） (2023-09-20T06:51:11Z)
• A More Secure Split: Enhancing the Security of Privacy-Preserving Split Learning [2.853180143237022]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングすることを可能にする、新たなコラボレーティブな学習テクニックである。 以前の研究は、アクティベーションマップ(AM)の再構築がクライアントデータのプライバシー漏洩をもたらすことを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-09-15T18:39:30Z)
• Train/Test-Time Adaptation with Retrieval [129.8579208970529]
  Train/Test-Time Adaptation with Retrieval(rm T3AR$)を紹介します。 $rm T3AR$は、洗練された擬似ラベルと自己教師付きコントラスト目的関数を使用して、所定のモデルを下流タスクに適合させる。 検索モジュールのおかげで、ユーザまたはサービスプロバイダは、下流タスクのモデル適応を改善することができる。
  論文  参考訳（メタデータ） (2023-03-25T02:44:57Z)
• Split Ways: Privacy-Preserving Training of Encrypted Data Using Split Learning [6.916134299626706]
  Split Learning(SL)は、参加者がクライアントが生データを共有せずに機械学習モデルをトレーニングできる、新たなコラボレーティブ学習技術である。 以前の研究は、アクティベーションマップの再構築がクライアントデータのプライバシー漏洩につながることを示した。 本稿では,U字型SLをベースとしたプロトコルを構築し,同義的に暗号化されたデータを操作することにより,従来の作業を改善する。
  論文  参考訳（メタデータ） (2023-01-20T19:26:51Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。