Fugu-MT 論文翻訳(概要): Explaining and Improving BERT Performance on Lexical Semantic Change Detection

論文の概要: Explaining and Improving BERT Performance on Lexical Semantic Change Detection

arxiv url: http://arxiv.org/abs/2103.07259v1
Date: Fri, 12 Mar 2021 13:29:30 GMT
ステータス: 処理完了
システム内更新日: 2021-03-15 16:55:50.778659
Title: Explaining and Improving BERT Performance on Lexical Semantic Change Detection
Title（参考訳）: 語彙意味変化検出におけるbert性能の説明と改善
Authors: Severin Laicher, Sinan Kurtyigit, Dominik Schlechtweg, Jonas Kuhn, Sabine Schulte im Walde
Abstract要約: SemEval-2020 Task 1における型ベースモデルの最近の成功は、トークンベースモデルの成功がなぜ我々の分野に反映しないのかという疑問を提起している。 BERTベクトルのクラスタリングに対する変数の範囲の影響を調査し、その低パフォーマンスがターゲット語の正則情報によるものであることを示した。
参考スコア（独自算出の注目度）: 22.934650688233734
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Type- and token-based embedding architectures are still competing in lexical semantic change detection. The recent success of type-based models in SemEval-2020 Task 1 has raised the question why the success of token-based models on a variety of other NLP tasks does not translate to our field. We investigate the influence of a range of variables on clusterings of BERT vectors and show that its low performance is largely due to orthographic information on the target word, which is encoded even in the higher layers of BERT representations. By reducing the influence of orthography we considerably improve BERT's performance.
Abstract（参考訳）: 型およびトークンベースの埋め込みアーキテクチャは、いまだに語彙的セマンティックな変更検出に競合している。最近のSemEval-2020 Task 1の型ベースのモデルの成功は、他のさまざまなNLPタスクにおけるトークンベースのモデルの成功がなぜ私たちのフィールドに翻訳されないのかという疑問を引き起こしました。 BERTベクトルのクラスタリングに対する変数の範囲の影響を調査し、その低パフォーマンスはターゲット語の正則情報によるものであり、BERT表現のより高い層でも符号化されていることを示した。オーソグラフィの影響を低減することで、BERTの性能を大幅に向上させます。

関連論文リスト

Language Models are Graph Learners [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文参考訳（メタデータ） (2024-10-03T08:27:54Z)
BERTer: The Efficient One [0.0]
本研究では、感情分析、パラフレーズ検出、意味的テキスト類似性においてBERTの性能を高めるための高度な微調整手法について検討する。その結果,複数の微調整アーキテクチャを組み合わせる場合のモデル効率と有効性は大幅に向上した。
論文参考訳（メタデータ） (2024-07-19T05:33:09Z)
Enhancing Embedding Performance through Large Language Model-based Text Enrichment and Rewriting [0.0]
本稿では,大規模な言語モデル(LLM)を活用して埋め込み処理前に入力テキストを豊かに書き直しすることで,埋め込み性能を向上させる新しい手法を提案する。このアプローチの有効性は、Banking77 Classification、TwitterSemEval 2015、Amazon Counter-factual Classificationの3つのデータセットで評価されている。
論文参考訳（メタデータ） (2024-04-18T15:58:56Z)
Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model [33.446533426654995]
我々は、BERTベースのCSCモデルを強化するために、異種知識注入フレームワークを設計する。複数層表現を生成するために,n-gram-based layerwise self-attention の新たな形式を提案する。実験の結果,提案手法は4つの強力なベースラインモデルに対して安定な性能向上をもたらすことがわかった。
論文参考訳（メタデータ） (2023-12-27T16:11:07Z)
Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。我々は,単語順序の重要性を維持するために強制的無効化を提案する。実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-04-11T13:42:10Z)
Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
論文参考訳（メタデータ） (2023-03-21T07:00:35Z)
The Topological BERT: Transforming Attention into Topology for Natural Language Processing [0.0]
本稿では,トポロジカルデータ解析を用いたテキスト分類器を提案する。我々は、その分類器への唯一の入力として、BERTのアテンションマップをアテンショングラフに変換する。このモデルは、スパムとハムメッセージの区別、文が文法的に正しいかどうかの認識、あるいは映画レビューを否定的あるいは肯定的な評価といったタスクを解くことができる。
論文参考訳（メタデータ） (2022-06-30T11:25:31Z)
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文参考訳（メタデータ） (2022-05-23T16:47:37Z)
Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文参考訳（メタデータ） (2021-01-02T07:13:41Z)
Augmenting BERT Carefully with Underrepresented Linguistic Features [6.096779295981379]
変換器 (BERT) を用いた配列分類モデルにより, 人間の音声の転写からアルツハイマー病 (AD) を検出するのに有効であることが証明された。従来の研究では、追加情報でモデルを増強することで、様々なタスクにおけるBERTのパフォーマンスを改善することが可能であった。これらの特徴と組み合わせて調整したBERTは,細調整したBERT単独に比べて,AD分類の性能を最大5%向上させることを示した。
論文参考訳（メタデータ） (2020-11-12T01:32:41Z)
Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文参考訳（メタデータ） (2020-10-24T08:11:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。