論文の概要: Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck

• arxiv url: http://arxiv.org/abs/2303.14096v1
• Date: Fri, 24 Mar 2023 16:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 13:52:53.800073
• Title: Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck
• Title（参考訳）: Nuisance-extended Information Bottleneckによる複数信頼性対策の強化
• Authors: Jongheon Jeong, Sihyun Yu, Hankook Lee, Jinwoo Shin
• Abstract要約: トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
• 参考スコア（独自算出の注目度）: 77.37409441129995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In practical scenarios where training data is limited, many predictive signals in the data can be rather from some biases in data acquisition (i.e., less generalizable), so that one cannot prevent a model from co-adapting on such (so-called) "shortcut" signals: this makes the model fragile in various distribution shifts. To bypass such failure modes, we consider an adversarial threat model under a mutual information constraint to cover a wider class of perturbations in training. This motivates us to extend the standard information bottleneck to additionally model the nuisance information. We propose an autoencoder-based training to implement the objective, as well as practical encoder designs to facilitate the proposed hybrid discriminative-generative training concerning both convolutional- and Transformer-based architectures. Our experimental results show that the proposed scheme improves robustness of learned representations (remarkably without using any domain-specific knowledge), with respect to multiple challenging reliability measures. For example, our model could advance the state-of-the-art on a recent challenging OBJECTS benchmark in novelty detection by $78.4\% \rightarrow 87.2\%$ in AUROC, while simultaneously enjoying improved corruption, background and (certified) adversarial robustness. Code is available at https://github.com/jh-jeong/nuisance_ib.
• Abstract（参考訳）: トレーニングデータが制限される現実のシナリオでは、データ内の多くの予測信号は、データ取得のバイアス(つまり一般化できない)からではなく、モデルがそのような(いわゆる)「ショートカット」信号に共適応することを防ぐことができない。 このような障害モードを回避すべく、トレーニングにおけるより広い種類の摂動をカバーするために、相互情報制約の下で敵の脅威モデルを考える。 これにより、標準情報ボトルネックを拡張して、ニュアサンス情報をモデル化するモチベーションが生まれます。 提案する畳み込み型とトランスフォーマー型の両方のアーキテクチャに関するハイブリッド識別生成型トレーニングを容易にするために,目標を実現するためのオートエンコーダベースのトレーニングと,実用的なエンコーダ設計を提案する。 実験結果から,提案手法は学習した表現の堅牢性(ドメイン固有の知識を使わずに顕著な)を向上させることが示唆された。 例えば、我々のモデルは、aurocで78.4\% \rightarrow 87.2\%$の新規性検出において、最近の挑戦的オブジェクトベンチマークの最先端を前進させ、腐敗、背景、(証明された)敵対的ロバスト性の向上を同時に享受できる。 コードはhttps://github.com/jh-jeong/nuisance_ibで入手できる。

関連論文リスト

• MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。 トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。 本稿では,多目的特徴表現学習手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Effective and Robust Adversarial Training against Data and Label Corruptions [35.53386268796071]
  データ摂動とラベルノイズによる破損は、信頼できない情報源からのデータセットに多い。 我々は,2種類の汚職を同時に扱うための,効果的かつロバストな適応訓練フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-07T10:53:20Z)
• Segue: Side-information Guided Generative Unlearnable Examples for Facial Privacy Protection in Real World [64.4289385463226]
  生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。 転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。 JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
  論文  参考訳（メタデータ） (2023-10-24T06:22:37Z)
• Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
  セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。 我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。 我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
  論文  参考訳（メタデータ） (2023-08-01T10:02:26Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。