論文の概要: TDDBench: A Benchmark for Training data detection

• arxiv url: http://arxiv.org/abs/2411.03363v1
• Date: Tue, 05 Nov 2024 05:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:23:51.760933
• Title: TDDBench: A Benchmark for Training data detection
• Title（参考訳）: TDDBench: データ検出のトレーニングベンチマーク
• Authors: Zhihao Zhu, Yi Yang, Defu Lian,
• Abstract要約: トレーニングデータ検出(TDD)は、特定のデータインスタンスを使用して機械学習モデルをトレーニングするかどうかを決定するためのタスクである。 TDDメソッドの有効性を徹底的に評価する包括的なベンチマークはありません。 4つの検出パラダイムで21のTDDメソッドをベンチマークし、そのパフォーマンスを5つの観点から評価します。
• 参考スコア（独自算出の注目度）: 42.49625153675721
• License:
• Abstract: Training Data Detection (TDD) is a task aimed at determining whether a specific data instance is used to train a machine learning model. In the computer security literature, TDD is also referred to as Membership Inference Attack (MIA). Given its potential to assess the risks of training data breaches, ensure copyright authentication, and verify model unlearning, TDD has garnered significant attention in recent years, leading to the development of numerous methods. Despite these advancements, there is no comprehensive benchmark to thoroughly evaluate the effectiveness of TDD methods. In this work, we introduce TDDBench, which consists of 13 datasets spanning three data modalities: image, tabular, and text. We benchmark 21 different TDD methods across four detection paradigms and evaluate their performance from five perspectives: average detection performance, best detection performance, memory consumption, and computational efficiency in both time and memory. With TDDBench, researchers can identify bottlenecks and areas for improvement in TDD algorithms, while practitioners can make informed trade-offs between effectiveness and efficiency when selecting TDD algorithms for specific use cases. Our large-scale benchmarking also reveals the generally unsatisfactory performance of TDD algorithms across different datasets. To enhance accessibility and reproducibility, we open-source TDDBench for the research community.
• Abstract（参考訳）: トレーニングデータ検出(TDD)は、特定のデータインスタンスを使用して機械学習モデルをトレーニングするかどうかを決定するためのタスクである。 コンピュータセキュリティの文献では、TDDはメンバーシップ推論攻撃(MIA)とも呼ばれる。 データ漏洩をトレーニングし、著作権認証を保証し、モデルの未学習を検証する可能性を考えると、TDDは近年大きな注目を集めており、多くの方法が開発されている。 これらの進歩にもかかわらず、TDDメソッドの有効性を徹底的に評価する包括的なベンチマークはありません。 この研究では、画像、表、テキストの3つのデータモダリティにまたがる13のデータセットからなるTDDBenchを紹介します。 平均検出性能、最高の検出性能、メモリ消費、時間とメモリの計算効率の5つの観点から、21の異なるTDDメソッドをベンチマークし、それらのパフォーマンスを評価します。 TDDBenchでは、TDDアルゴリズムを改善するためのボトルネックや領域を特定できる一方、実践者は特定のユースケースに対してTDDアルゴリズムを選択する際に、有効性と効率の間の情報的なトレードオフを行うことができる。 大規模なベンチマークでは、さまざまなデータセットにわたるTDDアルゴリズムの全般的に不満足なパフォーマンスも明らかにしています。 アクセシビリティと再現性を高めるため、私たちは研究コミュニティのためにTDDBenchをオープンソースにしました。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Dataset Distillation from First Principles: Integrating Core Information Extraction and Purposeful Learning [10.116674195405126]
  我々は、基礎となる最適化問題の正確な特徴付けは、関心の応用に関連する推論タスクを指定しなければならないと論じる。 我々の形式化は、様々なモデリング環境にまたがるDDの新たな応用を明らかにします。 現代の環境において重要な2つのケーススタディについて数値的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-02T18:11:15Z)
• Advancing 3D Point Cloud Understanding through Deep Transfer Learning: A Comprehensive Survey [3.929140365559557]
  本稿では,ディープラーニング(DTL)とドメイン適応(DA)を用いた最新の3DPC理解手法について概観する。 本稿では,3DPCオブジェクト検出,セマンティックラベリング,セグメンテーション,分類,登録,ダウンサンプリング/アップサンプリング,デノナイズなど,さまざまな応用について述べる。
  論文  参考訳（メタデータ） (2024-07-25T08:47:27Z)
• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• Can pre-trained models assist in dataset distillation? [21.613468512330442]
  事前訓練されたモデル(PTM)は知識リポジトリとして機能し、元のデータセットからの広範な情報を含んでいる。 PTMは、知識を合成データセットに効果的に転送し、DDを正確に導くことができますか? 我々は,初期化パラメータ,モデルアーキテクチャ,エポックトレーニング,ドメイン知識など,PTMのさまざまな選択肢を体系的に研究する。
  論文  参考訳（メタデータ） (2023-10-05T03:51:21Z)
• Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
  本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。 検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-20T17:11:05Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。