論文の概要: Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification

• arxiv url: http://arxiv.org/abs/2402.12500v1
• Date: Mon, 19 Feb 2024 20:08:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 18:25:45.258202
• Title: Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification
• Title（参考訳）: knnと基盤モデルの統合による適応性とプライバシ対応画像分類
• Authors: Sebastian Doerrich, Tobias Archut, Francesco Di Salvo, Christian Ledig
• Abstract要約: 従来のディープラーニングモデルは、その透明性とデータ変更に適応する能力を制限する知識を暗黙的にエンコードする。 モデル重みとは無関係に、基礎となるトレーニングデータの埋め込みを格納することで、この制限に対処する。 提案手法では,k$-Nearest Neighbor(k$-NN)分類器を視覚ベース基盤モデルに統合し,自然画像に基づいて事前学習を行う。
• 参考スコア（独自算出の注目度）: 0.13108652488669734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional deep learning models implicity encode knowledge limiting their transparency and ability to adapt to data changes. Yet, this adaptability is vital for addressing user data privacy concerns. We address this limitation by storing embeddings of the underlying training data independently of the model weights, enabling dynamic data modifications without retraining. Specifically, our approach integrates the $k$-Nearest Neighbor ($k$-NN) classifier with a vision-based foundation model, pre-trained self-supervised on natural images, enhancing interpretability and adaptability. We share open-source implementations of a previously unpublished baseline method as well as our performance-improving contributions. Quantitative experiments confirm improved classification across established benchmark datasets and the method's applicability to distinct medical image classification tasks. Additionally, we assess the method's robustness in continual learning and data removal scenarios. The approach exhibits great promise for bridging the gap between foundation models' performance and challenges tied to data privacy. The source code is available at https://github.com/TobArc/privacy-aware-image-classification-with-kNN.
• Abstract（参考訳）: 従来のディープラーニングモデルは、透明性とデータ変更への適応能力を制限する知識を暗黙的にエンコードする。 しかし、この適応性はユーザーのプライバシー問題に対処するために不可欠である。 我々は、モデル重みとは独立に、基礎となるトレーニングデータの埋め込みを格納し、リトレーニングせずに動的データ修正を可能にすることで、この制限に対処する。 具体的には、k$-Nearest Neighbor(k$-NN)分類器を視覚ベースの基礎モデルに統合し、自然画像に基づいて事前学習を行い、解釈性と適応性を向上する。 我々は、未発表のベースラインメソッドのオープンソース実装と、パフォーマンス改善のコントリビューションを共有します。 定量的実験により、確立されたベンチマークデータセット間の分類の改善と、異なる医用画像分類タスクへの適用性が確認された。 さらに,連続学習とデータ除去シナリオにおける手法の堅牢性を評価する。 このアプローチは、ファンデーションモデルのパフォーマンスとデータプライバシに関連する課題の間のギャップを埋める、という大きな約束を示す。 ソースコードはhttps://github.com/TobArc/privacy-aware-image-classification-with-kNNで公開されている。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• Source-Free Domain Adaptation Guided by Vision and Vision-Language Pre-Training [23.56208527227504]
  ソースフリードメイン適応(SFDA)は、完全にラベル付けされたソースドメインでトレーニングされたソースモデルを、関連するがラベル付けされていないターゲットドメインに適応させることを目的としている。 従来のSFDAパイプラインでは、ソースモデルを初期化するために、大量のデータ(イメージネットなど)を事前訓練した特徴抽出器が使用される。 トレーニング済みネットワークを対象適応プロセスに組み込むための統合フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-05T14:48:13Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Synthetic Dataset Generation for Privacy-Preserving Machine Learning [7.489265323050362]
  本稿では,従来のプライベートデータセットからセキュアな合成データセットを生成する手法を提案する。 提案手法は,様々なプライバシー侵害攻撃下でデータプライバシを保護していることを示す。
  論文  参考訳（メタデータ） (2022-10-06T20:54:52Z)
• Content-Aware Differential Privacy with Conditional Invertible Neural Networks [0.7102341019971402]
  Invertible Neural Networks (INNs) は、正確な精度を定量化しながら、優れた生成性能を示した。 INNの潜在空間に雑音を加えることで、差分プライベートな画像修正が可能になるという仮説を立てる。 利用可能なベンチマークデータセットと専用の医療データセットの実験を行います。
  論文  参考訳（メタデータ） (2022-07-29T11:52:16Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation [91.13472029666312]
  ソースフリーなドメイン適応型セマンティックセマンティックセグメンテーションのためのカリキュラムスタイルの自己学習手法を提案する。 提案手法は, ソースフリーなセマンティックセグメンテーションタスクにおいて, 合成-実-実-実-実-実-実-非実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実
  論文  参考訳（メタデータ） (2021-06-22T10:21:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。