論文の概要: Comparing Performance of Different Linguistically-Backed Word Embeddings
for Cyberbullying Detection
- arxiv url: http://arxiv.org/abs/2206.01950v1
- Date: Sat, 4 Jun 2022 09:11:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 12:50:20.728218
- Title: Comparing Performance of Different Linguistically-Backed Word Embeddings
for Cyberbullying Detection
- Title（参考訳）: サイバーいじめ検出のための異なる言語支援単語埋め込みの性能比較
- Authors: Juuso Eronen, Michal Ptaszynski and Fumito Masui
- Abstract要約: ほとんどの場合、単語の埋め込みは生のトークンからのみ学習され、場合によってはレムマから学習される。
本稿では, 生のトークンや補題と組み合わせることで, 形態, 構文, その他の言語情報を保存することを提案する。
- 参考スコア（独自算出の注目度）: 3.029434408969759
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In most cases, word embeddings are learned only from raw tokens or in some
cases, lemmas. This includes pre-trained language models like BERT. To
investigate on the potential of capturing deeper relations between lexical
items and structures and to filter out redundant information, we propose to
preserve the morphological, syntactic and other types of linguistic information
by combining them with the raw tokens or lemmas. This means, for example,
including parts-of-speech or dependency information within the used lexical
features. The word embeddings can then be trained on the combinations instead
of just raw tokens. It is also possible to later apply this method to the
pre-training of huge language models and possibly enhance their performance.
This would aid in tackling problems which are more sophisticated from the point
of view of linguistic representation, such as detection of cyberbullying.
- Abstract（参考訳）: ほとんどの場合、単語埋め込みは生のトークンや、時には補題からのみ学習される。
これにはBERTのような事前訓練された言語モデルが含まれる。
語彙と構造の間のより深い関係を捉え、冗長な情報をフィルタリングする可能性について検討するため、生のトークンや補題と組み合わせて形態的、構文的、その他の種類の言語情報を保存することを提案する。
これは例えば、使用済みの語彙機能に音声部品や依存情報を含めることを意味する。
埋め込みという言葉は、単に生のトークンではなく組み合わせで訓練することができる。
また、この手法を巨大な言語モデルの事前学習に適用し、性能を向上させることも可能である。
これは、サイバーいじめの検出のような言語表現の観点から、より洗練された問題に取り組むのに役立つだろう。
関連論文リスト
- Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳（メタデータ） (2024-02-13T02:46:45Z) - Lexical Complexity Prediction: An Overview [13.224233182417636]
テキスト中の未知の単語の発生は、読書の理解を著しく妨げている。
計算モデリングは、テキスト中の複雑な単語を識別し、より単純な代替語に置き換えるために応用されている。
本稿では,英文データに基づく語彙複雑性予測に対する計算手法の概要について述べる。
論文 参考訳（メタデータ） (2023-03-08T19:35:08Z) - Exploiting Word Semantics to Enrich Character Representations of Chinese
Pre-trained Models [12.0190584907439]
本稿では,単語構造を利用して語彙意味を事前学習したモデルの文字表現に統合する手法を提案する。
提案手法は,中国の異なるNLPタスクにおけるBERT,BERT-wwm,ERNIEよりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2022-07-13T02:28:08Z) - Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence
Encoders [85.80950708769923]
本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。
また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。
標準ベンチマークの大幅な向上を報告します。
論文 参考訳（メタデータ） (2022-04-30T13:23:16Z) - More Romanian word embeddings from the RETEROM project [0.0]
単語埋め込み」は、単語のベクトル表現を自動的に学習する。
使用可能な単語埋め込みセットをオープンアクセス可能な大規模ライブラリを開発する計画である。
論文 参考訳（メタデータ） (2021-11-21T06:05:12Z) - On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。
改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。
我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文 参考訳（メタデータ） (2021-10-15T21:41:16Z) - Human-in-the-Loop Refinement of Word Embeddings [0.0]
単語埋め込み後処理の適応を組み込んだシステムを提案する。
我々のアプローチは、人間が対話的に単語の埋め込みによって潜在的な品質問題を特定し、対処することを可能にする。
また、単語の埋め込み、単語の埋め込みに対する改善が機械学習パイプラインに与える影響について、より深い洞察を与えることができる。
論文 参考訳（メタデータ） (2021-10-06T16:10:32Z) - A Simple and Efficient Probabilistic Language model for Code-Mixed Text [0.0]
コード混合テキストに対する効率的な単語埋め込みを構築するための単純な確率的アプローチを提案する。
双方向LSTMとSVMを用いた分類作業の有効性を検討した。
論文 参考訳（メタデータ） (2021-06-29T05:37:57Z) - Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。
XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。
実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
論文 参考訳（メタデータ） (2021-02-16T18:47:10Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳（メタデータ） (2020-10-06T15:21:08Z) - Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text
Classification [52.69730591919885]
本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。
多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
論文 参考訳（メタデータ） (2020-07-29T19:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。