論文の概要: Bigeminal Priors Variational auto-encoder

• arxiv url: http://arxiv.org/abs/2010.01819v1
• Date: Mon, 5 Oct 2020 07:10:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:38:43.098379
• Title: Bigeminal Priors Variational auto-encoder
• Title（参考訳）: Bigeminal Priors Variational Auto-Encoder
• Authors: Xuming Ran, Mingkun Xu, Qi Xu, Huihui Zhou, Quanying Liu
• Abstract要約: 変分自動エンコーダ(VAEs)は、教師なし学習における可能性に基づく生成モデルに影響を及ぼし、一般的に使用される。 本稿では,この現象に対処するための新しいモデル,すなわちBigeminal Priors Variational Auto-Encoder(BPVAE)を提案する。 BPVAEは2つのデータセットの特徴を学習し、単純なデータセットよりもトレーニングデータセットの可能性が高くなる。
• 参考スコア（独自算出の注目度）: 5.430048915427229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational auto-encoders (VAEs) are an influential and generally-used class of likelihood-based generative models in unsupervised learning. The likelihood-based generative models have been reported to be highly robust to the out-of-distribution (OOD) inputs and can be a detector by assuming that the model assigns higher likelihoods to the samples from the in-distribution (ID) dataset than an OOD dataset. However, recent works reported a phenomenon that VAE recognizes some OOD samples as ID by assigning a higher likelihood to the OOD inputs compared to the one from ID. In this work, we introduce a new model, namely Bigeminal Priors Variational auto-encoder (BPVAE), to address this phenomenon. The BPVAE aims to enhance the robustness of the VAEs by combing the power of VAE with the two independent priors that belong to the training dataset and simple dataset, which complexity is lower than the training dataset, respectively. BPVAE learns two datasets'features, assigning a higher likelihood for the training dataset than the simple dataset. In this way, we can use BPVAE's density estimate for detecting the OOD samples. Quantitative experimental results suggest that our model has better generalization capability and stronger robustness than the standard VAEs, proving the effectiveness of the proposed approach of hybrid learning by collaborative priors. Overall, this work paves a new avenue to potentially overcome the OOD problem via multiple latent priors modeling.
• Abstract（参考訳）: 変分自動エンコーダ(VAEs)は、教師なし学習における可能性に基づく生成モデルに影響を及ぼし、一般的に使用される。 確率に基づく生成モデルは、オフ・オブ・ディストリビューション(OOD)入力に対して非常に堅牢であることが報告されており、このモデルがOODデータセットよりもイン・ディストリビューション(ID)データセットからのサンプルに高い確率を割り当てると仮定して、検出できる。 しかし、最近の研究は、VAEが一部のOODサンプルをIDとして認識する現象を報告している。 本研究では,この現象に対処するための新しいモデルであるBigeminal Priors Variational Auto-Encoder(BPVAE)を提案する。 BPVAEは、VAEのパワーをトレーニングデータセットに属する2つの独立した先行データと、トレーニングデータセットよりも複雑性が低い単純なデータセットと組み合わせることで、VAEの堅牢性を高めることを目指している。 BPVAEは2つのデータセットの特徴を学習し、単純なデータセットよりもトレーニングデータセットの可能性が高かった。 このようにして、BPVAEの密度推定を用いてOODサンプルを検出することができる。 定量的実験により,本モデルは標準vaesよりも一般化能力と頑健性が向上し,協調事前学習によるハイブリッド学習の有効性が実証された。 全体として、この作業は複数の潜伏先モデリングを通じて、OOD問題を克服する新たな道を開く。

関連論文リスト

• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources [73.28967478098107]
  アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。 通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。 本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:26:52Z)
• Unsupervised Out-of-Distribution Detection by Restoring Lossy Inputs with Variational Autoencoder [3.498694457257263]
  OOD検出のための新しいVAEベースのスコアであるError Reduction(ER)を提案する。 ERは、トレーニングセットの損失バージョンを入力として、元のセットをターゲットとして、VAEに基づいています。
  論文  参考訳（メタデータ） (2023-09-05T09:42:15Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)
• Training OOD Detectors in their Natural Habitats [31.565635192716712]
  アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。 近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。 我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:38:39Z)
• Energy-bounded Learning for Robust Models of Code [16.592638312365164]
  プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。 本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
  論文  参考訳（メタデータ） (2021-12-20T06:28:56Z)
• EARLIN: Early Out-of-Distribution Detection for Resource-efficient Collaborative Inference [4.826988182025783]
  協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。 このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。 我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
  論文  参考訳（メタデータ） (2021-06-25T18:43:23Z)
• Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation [5.430048915427229]
  変分オートエンコーダ(VAE)は、豊かな表現能力を持つ影響のある生成モデルである。 VAEモデルは、アウト・オブ・ディストリビューション(OOD)インプットに対して、イン・ディストリビューション(ID)インプットよりも高い確率を割り当てる弱点がある。 本研究では,INCPVAEと呼ばれるVAEのエンコーダに統合可能な改良型ノイズコントラッシブ先行(INCP)を提案する。
  論文  参考訳（メタデータ） (2020-07-16T06:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。