論文の概要: Enhancing Out-of-Distribution Detection in Natural Language
Understanding via Implicit Layer Ensemble
- arxiv url: http://arxiv.org/abs/2210.11034v1
- Date: Thu, 20 Oct 2022 06:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 13:39:38.798111
- Title: Enhancing Out-of-Distribution Detection in Natural Language
Understanding via Implicit Layer Ensemble
- Title(参考訳): 暗黙的レイヤアンサンブルによる自然言語理解における分散検出の強化
- Authors: Hyunsoo Cho, Choonghyun Park, Jaewook Kang, Kang Min Yoo, Taeuk Kim,
Sang-goo Lee
- Abstract要約: out-of-distribution (OOD) 検出は、意図したデータ分布からoutlierを識別することを目的としている。
本研究では,中間機能に階層化表現の学習を促すコントラスト学習に基づく新しいフレームワークを提案する。
私たちのアプローチは他の作業よりもはるかに効果的です。
- 参考スコア(独自算出の注目度): 22.643719584452455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) detection aims to discern outliers from the
intended data distribution, which is crucial to maintaining high reliability
and a good user experience. Most recent studies in OOD detection utilize the
information from a single representation that resides in the penultimate layer
to determine whether the input is anomalous or not. Although such a method is
straightforward, the potential of diverse information in the intermediate
layers is overlooked. In this paper, we propose a novel framework based on
contrastive learning that encourages intermediate features to learn
layer-specialized representations and assembles them implicitly into a single
representation to absorb rich information in the pre-trained language model.
Extensive experiments in various intent classification and OOD datasets
demonstrate that our approach is significantly more effective than other works.
- Abstract(参考訳): out-of-distribution (ood) 検出は、高い信頼性と優れたユーザエクスペリエンスを維持する上で不可欠である、意図したデータ分散から異常を識別することを目的としている。
OOD検出における最近の研究は、入力が異常であるか否かを決定するために、垂直層に存在する単一の表現からの情報を利用する。
このような方法は単純であるが、中間層における多様な情報の可能性は見落としている。
本稿では,中間的特徴が階層特化表現を学習し,それらを暗黙的に単一の表現に組み立て,事前学習した言語モデルにリッチな情報を吸収する,コントラスト学習に基づく新しい枠組みを提案する。
様々な意図分類やOODデータセットの大規模な実験は、我々のアプローチが他の研究よりもはるかに効果的であることを示している。
関連論文リスト
- EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:47:13Z) - ExCeL : Combined Extreme and Collective Logit Information for Enhancing
Out-of-Distribution Detection [9.689089164964484]
ExCeLは出力層内の極端な情報と集合情報を結合し、OOD検出の精度を向上する。
ExCeLは、既存の21のポストホックベースラインの中で、一貫して5つのトップパフォーマンスメソッドのうちの1つである。
論文 参考訳(メタデータ) (2023-11-23T14:16:03Z) - Diversified Outlier Exposure for Out-of-Distribution Detection via
Informative Extrapolation [110.34982764201689]
Out-of-Distribution(OOD)検出は、現実のアプリケーションに信頼性の高い機械学習モデルをデプロイするために重要である。
近年, 外部曝露によるOOD検出に有意な結果が得られた。
本稿では,補助外乱量に基づく情報外挿による効果的なOOD検出のための新しい枠組み,すなわちDivOE(Diversified Outlier Exposure)を提案する。
論文 参考訳(メタデータ) (2023-10-21T07:16:09Z) - Exploring Large Language Models for Multi-Modal Out-of-Distribution
Detection [67.68030805755679]
大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。
本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
論文 参考訳(メタデータ) (2023-10-12T04:14:28Z) - Class Relevance Learning For Out-of-distribution Detection [16.029229052068]
本稿では,OOD検出に適したクラス関連学習手法を提案する。
本手法は,OODパイプライン内のクラス間関係を戦略的に活用し,総合的なクラス関連学習フレームワークを確立する。
論文 参考訳(メタデータ) (2023-09-21T08:38:21Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳(メタデータ) (2023-06-06T14:23:34Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳(メタデータ) (2022-06-20T16:32:49Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳(メタデータ) (2021-08-03T17:09:56Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-07-19T15:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。