論文の概要: Contrastive Out-of-Distribution Detection for Pretrained Transformers

• arxiv url: http://arxiv.org/abs/2104.08812v1
• Date: Sun, 18 Apr 2021 10:51:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:05:37.580352
• Title: Contrastive Out-of-Distribution Detection for Pretrained Transformers
• Title（参考訳）: 予習変圧器のコントラストアウトオブディストリビューション検出
• Authors: Wenxuan Zhou, Muhao Chen
• Abstract要約: トレーニング中の分布データのみを用いたプリトレーニングトランスのOoD検出問題について検討する。 表現のコンパクト性を向上させるコントラスト損失を提案する。
• 参考スコア（独自算出の注目度）: 17.50856935207308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained transformers achieve remarkable performance when the test data follows the same distribution as the training data. However, in real-world NLU tasks, the model often faces out-of-distribution (OoD) instances. Such instances can cause the severe semantic shift problem to inference, hence they are supposed to be identified and rejected by the model. In this paper, we study the OoD detection problem for pretrained transformers using only in-distribution data in training. We observe that such instances can be found using the Mahalanobis distance in the penultimate layer. We further propose a contrastive loss that improves the compactness of representations, such that OoD instances can be better differentiated from in-distribution ones. Experiments on the GLUE benchmark demonstrate the effectiveness of the proposed methods.
• Abstract（参考訳）: 予めトレーニングされたトランスは、テストデータがトレーニングデータと同じ分布に従うと顕著な性能を発揮する。 しかし、実世界のnluタスクでは、モデルはしばしばout-of-distribution (ood)インスタンスに直面します。 このようなインスタンスは、重大なセマンティックシフト問題を推論させる可能性があるため、モデルによって識別され、拒否されるはずである。 本稿では,事前学習した変圧器のトレーニングにおける分布データのみを用いたOoD検出問題について検討する。 このような事例はペナルティメート層においてマハラノビス距離を用いて見いだされる。 さらに,oodインスタンスが分布内インスタンスとよりよく区別できるように,表現のコンパクト性を向上させるコントラスト損失を提案する。 GLUEベンチマーク実験により,提案手法の有効性が示された。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection [9.784793380119806]
  データ拡張のためのトレーニング不要な拡散型In-Distribution Anomaly GenerationパイプラインであるDIAGを紹介する。 従来の画像生成技術とは異なり、我々は、ドメインの専門家がモデルにマルチモーダルガイダンスを提供する、Human-in-the-loopパイプラインを実装している。 我々は、挑戦的なKSDD2データセットに対する最先端データ拡張アプローチに関して、DIAGの有効性と汎用性を実証する。
  論文  参考訳（メタデータ） (2024-07-04T14:28:52Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• The Bures Metric for Generative Adversarial Networks [10.69910379275607]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成する高性能な生成手法である。 実バッチの多様性と偽バッチの多様性を一致させることを提案する。 多様性マッチングはモード崩壊を著しく低減し, サンプル品質に肯定的な影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-16T12:04:41Z)
• Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
  我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。 具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。 大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
  論文  参考訳（メタデータ） (2020-02-26T04:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。