論文の概要: Detecting out-of-distribution text using topological features of
transformer-based language models
- arxiv url: http://arxiv.org/abs/2311.13102v1
- Date: Wed, 22 Nov 2023 02:04:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 16:33:14.496534
- Title: Detecting out-of-distribution text using topological features of
transformer-based language models
- Title(参考訳): 変圧器型言語モデルの位相的特徴を用いた分布外テキストの検出
- Authors: Andres Pollano, Anupam Chaudhuri, Anj Simmons
- Abstract要約: 本研究では,変換器を用いた言語モデルにおける注意マップにトポロジカルデータ解析(TDA)を適用しながら,配布外(OOD)テキストサンプルの検出を試みる。
我々は,変換器を用いた言語モデルであるBERTの分布外検出のためのTDAに基づくアプローチを評価し,BERT CLSの埋め込みに基づく従来のOODアプローチと比較した。
- 参考スコア(独自算出の注目度): 0.6445605125467574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We attempt to detect out-of-distribution (OOD) text samples though applying
Topological Data Analysis (TDA) to attention maps in transformer-based language
models. We evaluate our proposed TDA-based approach for out-of-distribution
detection on BERT, a transformer-based language model, and compare the to a
more traditional OOD approach based on BERT CLS embeddings. We found that our
TDA approach outperforms the CLS embedding approach at distinguishing
in-distribution data (politics and entertainment news articles from HuffPost)
from far out-of-domain samples (IMDB reviews), but its effectiveness
deteriorates with near out-of-domain (CNN/Dailymail) or same-domain (business
news articles from HuffPost) datasets.
- Abstract(参考訳): トランスフォーマチック言語モデルにおける注意マップにトポロジカルデータ解析(tda)を適用しながら,od(out-of-distribution)テキストサンプルの検出を試みる。
我々は,変換器を用いた言語モデルであるBERTの分布外検出のためのTDAに基づくアプローチを評価し,BERT CLSの埋め込みに基づく従来のOODアプローチと比較した。
我々のTDAアプローチは,配信内データ(HuffPostの政治・エンターテイメントニュース記事)とドメイン外サンプル(IMDBレビュー)とを区別するCLS埋め込みアプローチよりも優れていることがわかったが,その効果はドメイン外サンプル(CNN/Dailymail)や同一ドメイン(HuffPostのビジネスニュース記事)で低下する。
関連論文リスト
- Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。
オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
論文 参考訳(メタデータ) (2023-07-30T11:38:46Z) - Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。
RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文 参考訳(メタデータ) (2023-03-13T17:12:03Z) - Meta-learning Pathologies from Radiology Reports using Variance Aware
Prototypical Networks [3.464871689508835]
本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。
我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
論文 参考訳(メタデータ) (2022-10-22T05:22:29Z) - QAGAN: Adversarial Approach To Learning Domain Invariant Language
Features [0.76146285961466]
ドメイン不変の特徴を学習するための敵対的学習手法について検討する。
EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
論文 参考訳(メタデータ) (2022-06-24T17:42:18Z) - Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。
本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
論文 参考訳(メタデータ) (2022-05-23T11:41:02Z) - Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。
低信頼度サンプルの処理による新しいコントラスト学習法を提案する。
提案手法を教師なしと半教師付きの両方のDA設定で評価する。
論文 参考訳(メタデータ) (2022-02-06T15:45:45Z) - Multiple-Source Domain Adaptation via Coordinated Domain Encoders and
Paired Classifiers [1.52292571922932]
ドメインシフトの下でのテキスト分類の新しいモデルを提案する。
更新表現を利用して、ドメインエンコーダを動的に統合する。
また、ターゲットドメインのエラー率を推測するために確率モデルも採用している。
論文 参考訳(メタデータ) (2022-01-28T00:50:01Z) - A Variational Bayesian Approach to Learning Latent Variables for
Acoustic Knowledge Transfer [55.20627066525205]
本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。
我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
論文 参考訳(メタデータ) (2021-10-16T15:54:01Z) - T-SVDNet: Exploring High-Order Prototypical Correlations for
Multi-Source Domain Adaptation [41.356774580308986]
マルチソースドメイン適応の課題に対処するために,T-SVDNetという新しい手法を提案する。
複数のドメインとカテゴリの高次相関は、ドメインギャップを埋めるため、完全に検討されている。
ノイズ源データによる負の伝達を回避するため,新しい不確実性を考慮した重み付け手法を提案する。
論文 参考訳(メタデータ) (2021-07-30T06:33:05Z) - Instance Level Affinity-Based Transfer for Unsupervised Domain
Adaptation [74.71931918541748]
ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。
まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。
ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
論文 参考訳(メタデータ) (2021-04-03T01:33:14Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。