論文の概要: Revealing the Distributional Vulnerability of Discriminators by Implicit Generators

• arxiv url: http://arxiv.org/abs/2108.09976v4
• Date: Sun, 27 Aug 2023 07:12:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 02:24:17.872084
• Title: Revealing the Distributional Vulnerability of Discriminators by Implicit Generators
• Title（参考訳）: 暗黙発生器による判別器の分布脆弱性の解明
• Authors: Zhilin Zhao and Longbing Cao and Kun-Yu Lin
• Abstract要約: ディープ・ニューラル・ラーニングでは、ID(In-Distribution)サンプルで訓練された判別器は、out-of-Distribution(OOD)サンプルで高い信頼度を予測できる。 暗黙的ジェネレータ(FIG)によるイテインチューニング識別器の一般化手法を提案する。 特定のOODサンプルを生成してペナルティ化することにより、IDとOODサンプルを識別する標準的な識別器の能力を向上させる。
• 参考スコア（独自算出の注目度）: 36.66825830101456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In deep neural learning, a discriminator trained on in-distribution (ID) samples may make high-confidence predictions on out-of-distribution (OOD) samples. This triggers a significant matter for robust, trustworthy and safe deep learning. The issue is primarily caused by the limited ID samples observable in training the discriminator when OOD samples are unavailable. We propose a general approach for \textit{fine-tuning discriminators by implicit generators} (FIG). FIG is grounded on information theory and applicable to standard discriminators without retraining. It improves the ability of a standard discriminator in distinguishing ID and OOD samples by generating and penalizing its specific OOD samples. According to the Shannon entropy, an energy-based implicit generator is inferred from a discriminator without extra training costs. Then, a Langevin dynamic sampler draws specific OOD samples for the implicit generator. Lastly, we design a regularizer fitting the design principle of the implicit generator to induce high entropy on those generated OOD samples. The experiments on different networks and datasets demonstrate that FIG achieves the state-of-the-art OOD detection performance.
• Abstract（参考訳）: ディープ・ニューラル・ラーニングでは、in-distribution (id) サンプルで訓練された判別器が、out-of-distribution (ood) サンプルで高い信頼度を予測できる。 これは、堅牢で信頼性が高く、安全なディープラーニングにおいて重要な問題を引き起こします。 この問題は、oodサンプルが使用できない場合、識別器の訓練で観察可能な限定idサンプルが原因である。 本稿では,暗黙発生器 (FIG) による \textit{fine-tuning discriminator に対する一般的なアプローチを提案する。 FIGは情報理論に基づいており、リトレーニングなしで標準的な差別者に適用できる。 特定のOODサンプルを生成してペナルティ化することにより、IDとOODサンプルを識別する標準的な識別器の能力を向上させる。 シャノンエントロピーによると、エネルギーベースの暗黙発生器は余分な訓練コストなしで判別器から推定される。 次に、Langevin動的サンプリングが暗黙のジェネレータ用の特定のOODサンプルを描画する。 最後に、暗黙発生器の設計原理に適合する正規化器を設計し、それらのOODサンプルに対して高いエントロピーを誘導する。 異なるネットワークとデータセットの実験により、FIGが最先端のOOD検出性能を達成することを示した。

関連論文リスト

• Semantic or Covariate? A Study on the Intractable Case of Out-of-Distribution Detection [70.57120710151105]
  ID分布のセマンティック空間をより正確に定義する。 また,OOD と ID の区別性を保証する "Tractable OOD" の設定も定義する。
  論文  参考訳（メタデータ） (2024-11-18T03:09:39Z)
• Going Beyond Conventional OOD Detection [0.0]
  アウト・オブ・ディストリビューション(OOD)検出は、重要なアプリケーションにディープラーニングモデルの安全なデプロイを保証するために重要である。 従来型OOD検出(ASCOOD)への統一的アプローチを提案する。 提案手法は, スパイラル相関の影響を効果的に軽減し, 微粒化特性の獲得を促す。
  論文  参考訳（メタデータ） (2024-11-16T13:04:52Z)
• Long-Tailed Out-of-Distribution Detection via Normalized Outlier Distribution Adaptation [24.216526107669345]
  アウト・オブ・ディストリビューション(OOD)検出における重要な課題は、トレーニング中に接地型OODサンプルが存在しないことである。 この分散シフト問題に対処するために、正規化外乱分布適応(AdaptOD)を提案する。 AdaptODは、外れ値サンプルに基づいてバニラの外れ値分布を真のOOD分布に効果的に適応する。
  論文  参考訳（メタデータ） (2024-10-28T07:54:29Z)
• Pseudo Outlier Exposure for Out-of-Distribution Detection using Pretrained Transformers [3.8839179829686126]
  拒否ネットワークは、テストOODサンプルを検出するために、IDと多様な外れ値サンプルで訓練することができる。 本稿では,Pseudo Outlier Exposure (POE) と呼ばれる手法を提案する。 本手法は外部OODデータを一切必要とせず,既製のトランスフォーマーで容易に実装できる。
  論文  参考訳（メタデータ） (2023-07-18T17:29:23Z)
• Energy-bounded Learning for Robust Models of Code [16.592638312365164]
  プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。 本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
  論文  参考訳（メタデータ） (2021-12-20T06:28:56Z)
• Bridging In- and Out-of-distribution Samples for Their Better Discriminability [18.84265231678354]
  2つの中間に位置するサンプルを考慮し、それらをネットワークのトレーニングに使用する。 我々は複数の画像変換を用いて、様々な方法で入力を破損させ、重大度レベルが異なるようなサンプルを生成する。 クリーンなIDサンプルをトレーニングしたネットワークを用いて,単一の画像変換によって生成されたサンプルが,IDとOODの間にどこにあるかを推定する。
  論文  参考訳（メタデータ） (2021-01-07T11:34:18Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Sampling-Decomposable Generative Adversarial Recommender [84.05894139540048]
  サンプル分解可能な生成逆数レコメンダ(SD-GAR)を提案する。 本フレームワークでは, 自己正規化重要度サンプリングにより, 生成元と最適値とのばらつきを補償する。 提案アルゴリズムを5つの実世界のレコメンデーションデータセットを用いて広範囲に評価する。
  論文  参考訳（メタデータ） (2020-11-02T13:19:10Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。