論文の概要: On Codomain Separability and Label Inference from (Noisy) Loss Functions

• arxiv url: http://arxiv.org/abs/2107.03022v1
• Date: Wed, 7 Jul 2021 05:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-08 22:55:34.055791
• Title: On Codomain Separability and Label Inference from (Noisy) Loss Functions
• Title（参考訳）: ノイズ)損失関数からのコドメイン分離性とラベル推論について
• Authors: Abhinav Aggarwal, Shiva Prasad Kasiviswanathan, Zekun Xu, Oluwaseyi Feyisetan, Nathanael Teissier
• Abstract要約: 本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件を検討するために,コドメイン分離性の概念を導入する。 一般的なアクティベーション機能を持つマルチクラスクロスエントロピーや,ブレグマンの発散に基づく損失を含む,多くの一般的な損失関数に対して,任意の雑音レベルに対するラベル推論攻撃を設計可能であることを示す。
• 参考スコア（独自算出の注目度）: 11.780563744330038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning classifiers rely on loss functions for performance evaluation, often on a private (hidden) dataset. Label inference was recently introduced as the problem of reconstructing the ground truth labels of this private dataset from just the (possibly perturbed) loss function values evaluated at chosen prediction vectors, without any other access to the hidden dataset. Existing results have demonstrated this inference is possible on specific loss functions like the cross-entropy loss. In this paper, we introduce the notion of codomain separability to formally study the necessary and sufficient conditions under which label inference is possible from any (noisy) loss function values. Using this notion, we show that for many commonly used loss functions, including multiclass cross-entropy with common activation functions and some Bregman divergence-based losses, it is possible to design label inference attacks for arbitrary noise levels. We demonstrate that these attacks can also be carried out through actual neural network models, and argue, both formally and empirically, the role of finite precision arithmetic in this setting.
• Abstract（参考訳）: 機械学習の分類器は、性能評価のために損失関数に依存しており、しばしばプライベートな(隠された)データセットに依存している。 ラベル推論は、最近、隠れたデータセットにアクセスすることなく、選択された予測ベクトルで評価された(おそらく摂動された)損失関数値から、このプライベートデータセットの基底真理ラベルを再構築する問題として導入された。 既存の結果は、この推論がクロスエントロピー損失のような特定の損失関数上で可能であることを証明している。 本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件について,コドメイン分離性の概念を導入する。 この概念を用いることで、共通の活性化関数を持つマルチクラスクロスエントロピーやブレグマンの発散に基づく損失を含む多くの一般的な損失関数に対して、任意のノイズレベルに対するラベル推論攻撃を設計できることを示す。 これらの攻撃は実際のニューラルネットワークモデルでも実行可能であることを実証し、この設定における有限精度算術の役割を形式的かつ実証的に論じる。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
  我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。 まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。 第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-12-20T11:27:46Z)
• Theoretically Grounded Loss Functions and Algorithms for Score-Based Multi-Class Abstention [30.389055604165222]
  禁断損失関数に対する代用損失の新たなファミリーを導入する。 我々はこれらのサロゲート損失に対して、非漸近的で仮説固有の一貫性を保証する。 以上の結果から,最新のスコアベースサロゲート損失の相対的性能はデータセットによって異なる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-23T10:13:35Z)
• Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning [0.0]
  大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
  論文  参考訳（メタデータ） (2023-06-08T18:38:55Z)
• The Fisher-Rao Loss for Learning under Label Noise [9.238700679836855]
  離散分布の統計多様体におけるフィッシャー・ラオ距離から生じるフィッシャー・ラオ損失関数について検討する。 ラベルノイズの存在下での性能劣化の上限を導出し,この損失の学習速度を解析する。
  論文  参考訳（メタデータ） (2022-10-28T20:50:10Z)
• The Group Loss++: A deeper look into group loss for deep metric learning [65.19665861268574]
  グループ損失 (Group Loss) は、グループの全サンプルに埋め込まれた類似性を強制する微分可能なラベルプロパゲーション法に基づく損失関数である。 4つのデータセットでクラスタリングと画像検索の最先端結果を示し、2人の再識別データセットで競合結果を示す。
  論文  参考訳（メタデータ） (2022-04-04T14:09:58Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Memorization in Deep Neural Networks: Does the Loss Function matter? [1.71982924656402]
  対称損失関数は, 交叉エントロピーや二乗誤差損失とは対照的に, ネットワークの過度な適合性を著しく改善することを示した。 本研究の結果から, 記憶のこの現象において, 損失関数が単独で果たす役割が明らかとなった。
  論文  参考訳（メタデータ） (2021-07-21T09:08:51Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay [72.23433407017558]
  非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。 驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
  論文  参考訳（メタデータ） (2020-07-12T17:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。