論文の概要: The Topological BERT: Transforming Attention into Topology for Natural Language Processing

• arxiv url: http://arxiv.org/abs/2206.15195v1
• Date: Thu, 30 Jun 2022 11:25:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-02 00:02:33.327722
• Title: The Topological BERT: Transforming Attention into Topology for Natural Language Processing
• Title（参考訳）: トポロジカルbert: 自然言語処理のためのトポロジーへの注意の転換
• Authors: Ilan Perez, Raphael Reinauer
• Abstract要約: 本稿では,トポロジカルデータ解析を用いたテキスト分類器を提案する。 我々は、その分類器への唯一の入力として、BERTのアテンションマップをアテンショングラフに変換する。 このモデルは、スパムとハムメッセージの区別、文が文法的に正しいかどうかの認識、あるいは映画レビューを否定的あるいは肯定的な評価といったタスクを解くことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In recent years, the introduction of the Transformer models sparked a revolution in natural language processing (NLP). BERT was one of the first text encoders using only the attention mechanism without any recurrent parts to achieve state-of-the-art results on many NLP tasks. This paper introduces a text classifier using topological data analysis. We use BERT's attention maps transformed into attention graphs as the only input to that classifier. The model can solve tasks such as distinguishing spam from ham messages, recognizing whether a sentence is grammatically correct, or evaluating a movie review as negative or positive. It performs comparably to the BERT baseline and outperforms it on some tasks. Additionally, we propose a new method to reduce the number of BERT's attention heads considered by the topological classifier, which allows us to prune the number of heads from 144 down to as few as ten with no reduction in performance. Our work also shows that the topological model displays higher robustness against adversarial attacks than the original BERT model, which is maintained during the pruning process. To the best of our knowledge, this work is the first to confront topological-based models with adversarial attacks in the context of NLP.
• Abstract（参考訳）: 近年、トランスフォーマーモデルの導入は自然言語処理(NLP)に革命をもたらした。 BERTは、多くのNLPタスクで最先端の結果を達成するために、再帰的な部分を持たないアテンション機構のみを使用した最初のテキストエンコーダの1つである。 本稿では,トポロジカルデータ解析を用いたテキスト分類器を提案する。 我々は、その分類器への唯一の入力として、BERTのアテンションマップをアテンショングラフに変換する。 このモデルは、スパムとハムメッセージの区別、文が文法的に正しいかどうかの認識、映画レビューを否定的または肯定的評価といったタスクを解決できる。 BERTベースラインと互換性を持って動作し、いくつかのタスクでパフォーマンスを向上する。 さらに,このトポロジカル分類器により考慮されたBERTのアテンションヘッド数を144から10に減らす方法を提案する。 また,このトポロジカルモデルでは,刈り込み過程において維持される元のBERTモデルよりも,敵攻撃に対する堅牢性が高いことを示した。 我々の知る限りでは、この研究はnlpの文脈で敵対的な攻撃を伴うトポロジカルベースのモデルに初めて挑戦するものである。

関連論文リスト

• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling [65.51280121472146]
  私たちは本質的にオントロジーラベルについて知っているものを利用して、効率的なセマンティック解析モデルを構築します。 我々のモデルはTOPv2から派生した低リソースのベンチマークを用いて高効率である。
  論文  参考訳（メタデータ） (2021-04-15T04:01:02Z)
• PnG BERT: Augmented BERT on Phonemes and Graphemes for Neural TTS [27.20479869682578]
  PnG BERTはニューラルTSのための新しいエンコーダモデルである。 大規模テキストコーパス上で、自己管理的な方法で事前訓練することができる。
  論文  参考訳（メタデータ） (2021-03-28T06:24:00Z)
• Explaining and Improving BERT Performance on Lexical Semantic Change Detection [22.934650688233734]
  SemEval-2020 Task 1における型ベースモデルの最近の成功は、トークンベースモデルの成功がなぜ我々の分野に反映しないのかという疑問を提起している。 BERTベクトルのクラスタリングに対する変数の範囲の影響を調査し、その低パフォーマンスがターゲット語の正則情報によるものであることを示した。
  論文  参考訳（メタデータ） (2021-03-12T13:29:30Z)
• Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
  本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
  論文  参考訳（メタデータ） (2021-01-26T09:14:06Z)
• FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT [0.5772546394254112]
  本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。 私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
  論文  参考訳（メタデータ） (2020-08-22T08:04:21Z)
• Comparing BERT against traditional machine learning text classification [0.0]
  BERTモデルは近年、最先端の機械学習モデルとして人気を博している。 本研究の目的は,NLPタスクのデフォルトとしてBERTの使用を支持するか拒否する経験的エビデンスを追加することである。
  論文  参考訳（メタデータ） (2020-05-26T20:14:39Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
  Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。 代用トークン検出という,より効率的な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2020-03-23T21:17:42Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。