論文の概要: MASKER: Masked Keyword Regularization for Reliable Text Classification

• arxiv url: http://arxiv.org/abs/2012.09392v1
• Date: Thu, 17 Dec 2020 04:54:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 00:06:30.918156
• Title: MASKER: Masked Keyword Regularization for Reliable Text Classification
• Title（参考訳）: masker: 信頼できるテキスト分類のためのマスク付きキーワード正規化
• Authors: Seung Jun Moon, Sangwoo Mo, Kimin Lee, Jaeho Lee, Jinwoo Shin
• Abstract要約: 文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
• 参考スコア（独自算出の注目度）: 73.90326322794803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models have achieved state-of-the-art accuracies on various text classification tasks, e.g., sentiment analysis, natural language inference, and semantic textual similarity. However, the reliability of the fine-tuned text classifiers is an often underlooked performance criterion. For instance, one may desire a model that can detect out-of-distribution (OOD) samples (drawn far from training distribution) or be robust against domain shifts. We claim that one central obstacle to the reliability is the over-reliance of the model on a limited number of keywords, instead of looking at the whole context. In particular, we find that (a) OOD samples often contain in-distribution keywords, while (b) cross-domain samples may not always contain keywords; over-relying on the keywords can be problematic for both cases. In light of this observation, we propose a simple yet effective fine-tuning method, coined masked keyword regularization (MASKER), that facilitates context-based prediction. MASKER regularizes the model to reconstruct the keywords from the rest of the words and make low-confidence predictions without enough context. When applied to various pre-trained language models (e.g., BERT, RoBERTa, and ALBERT), we demonstrate that MASKER improves OOD detection and cross-domain generalization without degrading classification accuracy. Code is available at https://github.com/alinlab/MASKER.
• Abstract（参考訳）: 事前訓練された言語モデルは、感情分析、自然言語推論、意味的なテキスト類似性など、様々なテキスト分類タスクにおいて最先端の精度を達成した。 しかし、微調整テキスト分類器の信頼性は、しばしば見当たらない性能基準である。 例えば、オフ・オブ・ディストリビューション(OOD)サンプル(トレーニング分布から遠く離れている)を検出したり、ドメインシフトに対して堅牢なモデルが欲しい場合もあります。 信頼性に対する1つの大きな障害は、コンテキスト全体を見るのではなく、限られた数のキーワードでモデルの過度な信頼関係にあると主張する。 特に, (a) OOD サンプルは分布内キーワードを含むことが多いが, (b) クロスドメインサンプルは必ずしもキーワードを含むとは限らない。 そこで本研究では,文脈に基づく予測を容易にする簡易かつ効果的な微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 各種事前学習言語モデル(BERT,RoBERTa,ALBERT)に適用した場合,MASKERは分類精度を低下させることなくOODの検出とドメイン間一般化を改善する。 コードはhttps://github.com/alinlab/MASKERで入手できる。

関連論文リスト

• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks [39.51297217854375]
  ランダムな平滑化に基づく自然言語処理(NLP)のための信頼性の高いロバストネスフレームワークであるText-CRSを提案する。 テキストCRSは、4つの異なる単語レベルの対数操作すべてに対処でき、精度が大幅に向上することを示す。 また,同義語置換攻撃に対する最先端認証よりも,単語レベルの4つの操作の精度と半径に関する最初のベンチマークも提供する。
  論文  参考訳（メタデータ） (2023-07-31T13:08:16Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps [12.573927420408365]
  事前訓練された言語モデルを用いたIRモデルはBM25のような語彙的アプローチよりも大幅に優れていた。 本稿では,語彙と単語周波数のギャップを埋めることによる教師なし領域適応手法を提案する。 提案手法は,現在最先端の領域適応法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-08T03:58:26Z)
• Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task [0.0]
  Genre IDは、非トピックテキスト分類のサブクラスである。 BERTやXLM-RoBERTaのような事前訓練されたトランスフォーマーに基づく神経モデルは、多くのNLPタスクにおいてSOTA結果を示す。
  論文  参考訳（メタデータ） (2022-06-15T09:59:05Z)
• Learning-based Hybrid Local Search for the Hard-label Textual Attack [53.92227690452377]
  我々は,攻撃者が予測ラベルにのみアクセス可能な,滅多に調査されていないが厳格な設定,すなわちハードラベル攻撃を考える。 そこで本研究では,Learning-based Hybrid Local Search (LHLS)アルゴリズムという,新たなハードラベル攻撃を提案する。 我々のLHLSは、攻撃性能と敵の品質に関する既存のハードラベル攻撃を著しく上回っている。
  論文  参考訳（メタデータ） (2022-01-20T14:16:07Z)
• Experiments with adversarial attacks on text genres [0.0]
  BERTやXLM-RoBERTaのような事前学習されたトランスフォーマーに基づくニューラルモデルは、多くのNLPタスクにおいてSOTA結果を示す。 そこで本研究では,最も重要な単語のいくつかを類似した単語に置き換えることができる埋め込み型アルゴリズムが,モデル予測にかなりの割合で影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:37:59Z)
• UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
  UCPhraseは、教師なしの文脈対応のフレーズタグである。 我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。 我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T19:44:24Z)
• ShufText: A Simple Black Box Approach to Evaluate the Fragility of Text Classification Models [0.0]
  CNN、LSTM、Transformersに基づくディープラーニングアプローチは、テキスト分類における事実上のアプローチである。 これらのシステムは、分類に有用なテキストに現れる重要な単語に過度に依存していることを示す。
  論文  参考訳（メタデータ） (2021-01-30T15:18:35Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。