論文の概要: The Art of Embedding Fusion: Optimizing Hate Speech Detection
- arxiv url: http://arxiv.org/abs/2306.14939v1
- Date: Mon, 26 Jun 2023 17:30:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 15:58:39.363230
- Title: The Art of Embedding Fusion: Optimizing Hate Speech Detection
- Title(参考訳): 埋め込み融合技術:ヘイトスピーチ検出の最適化
- Authors: Mohammad Aflah Khan, Neemesh Yadav, Mohit Jain and Sanyam Goyal
- Abstract要約: ヘイトスピーチ検出は、言語的および文脈的ニュアンスをキャプチャする必要がある、困難な自然言語処理タスクである。
事前訓練された言語モデル(PLM)は、このタスクを改善するために、テキストのリッチな意味表現を提供する。
いくつかのPLMの様々な組み合わせ技術に光を当て、その有効性を分析した。
- 参考スコア(独自算出の注目度): 6.132846653900556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hate speech detection is a challenging natural language processing task that
requires capturing linguistic and contextual nuances. Pre-trained language
models (PLMs) offer rich semantic representations of text that can improve this
task. However there is still limited knowledge about ways to effectively
combine representations across PLMs and leverage their complementary strengths.
In this work, we shed light on various combination techniques for several PLMs
and comprehensively analyze their effectiveness. Our findings show that
combining embeddings leads to slight improvements but at a high computational
cost and the choice of combination has marginal effect on the final outcome. We
also make our codebase public at
https://github.com/aflah02/The-Art-of-Embedding-Fusion-Optimizing-Hate-Speech-Detection .
- Abstract(参考訳): ヘイトスピーチ検出は、言語的および文脈的ニュアンスをキャプチャする必要がある、難しい自然言語処理タスクである。
事前訓練された言語モデル(PLM)は、このタスクを改善するためのリッチな意味表現を提供する。
しかし、PLM間の表現を効果的に組み合わせ、それらの相補的な強みを活用する方法についてはまだ知識が限られている。
本研究は,複数のPLMの様々な組み合わせ技術に光を当て,その効果を総合的に分析するものである。
以上の結果から,組込みを組み合わせるとわずかに改善するが,計算コストが高く,組み合わせの選択が最終結果に限界的な影響を与えることが示された。
また、コードベースをhttps://github.com/aflah02/The-Art-of-Embedding-Fusion-Optimizing-Hate-Speech-Detectionで公開しています。
関連論文リスト
- No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
本稿では,学習不要な後処理が可能な言語演算法を提案する。
提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
論文 参考訳(メタデータ) (2024-04-24T08:52:40Z) - Bridging the Gap between Different Vocabularies for LLM Ensemble [10.669552498083709]
様々な大言語モデル(LLM)における語彙の相違は、これまでの研究を制約してきた。
語彙アライメント(EVA)を用いたLLMのアンサンブル手法を提案する。
EVAは様々なLLM間の語彙ギャップを橋渡しし、各生成ステップで巧妙にアンサンブルすることができる。
論文 参考訳(メタデータ) (2024-04-15T06:28:20Z) - Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。
我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。
テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
論文 参考訳(メタデータ) (2023-12-30T14:20:04Z) - Thread of Thought Unraveling Chaotic Contexts [133.24935874034782]
思考のスレッド(ThoT)戦略は、人間の認知プロセスからインスピレーションを得ている。
実験では、他のプロンプト技術と比較して、ThoTは推論性能を著しく改善する。
論文 参考訳(メタデータ) (2023-11-15T06:54:44Z) - SpeechGen: Unlocking the Generative Power of Speech Language Models with
Prompts [108.04306136086807]
本稿では,SpeechGenと呼ばれる統合フレームワークを用いて,各種タスクの音声LMを刺激するための即時チューニングの適用について検討する。
提案した統合フレームワークは効率と有効性に大きな可能性を秘めている。
論文 参考訳(メタデータ) (2023-06-03T22:35:27Z) - Contextual Distortion Reveals Constituency: Masked Language Models are
Implicit Parsers [7.558415495951758]
マスク付き言語モデル(LM)から解析木を抽出する新しい手法を提案する。
本手法は,言語摂動による文脈表現の歪みに基づいて,各スパンのスコアを算出する。
本手法は,マスク付きLMを用いた英語における従来の最先端手法を一貫して上回り,多言語環境での優れた性能を示す。
論文 参考訳(メタデータ) (2023-06-01T13:10:48Z) - Masked and Permuted Implicit Context Learning for Scene Text Recognition [8.742571493814326]
シーン認識(STR)は、テキストスタイル、形状、背景の変化のため困難である。
単一のデコーダ内において、STRのためのマスク付き暗黙的文脈学習ネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:31:02Z) - A Vector Quantized Approach for Text to Speech Synthesis on Real-World
Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。
最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。
近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-08T17:34:32Z) - Revisiting the Roles of "Text" in Text Games [102.22750109468652]
本稿では,強化学習におけるテキストの役割について検討する。
本稿では,関連するコンテキスト情報を近似状態ハッシュに抽出する簡単な手法を提案する。
このような軽量なプラグインは最先端のテキストエージェントとの競合性能を実現する。
論文 参考訳(メタデータ) (2022-10-15T21:52:39Z) - Linguistically-Informed Transformations (LIT): A Method for
Automatically Generating Contrast Sets [13.706520309917634]
コントラスト集合を自動生成するLinguistically-Informed Transformation (LIT) 法を提案する。
実験によると、現在の事前訓練された言語モデルは、自動生成されたコントラストセットで苦労している。
トレーニングデータを拡張するためにLITを適用してコントラストセットのモデルの性能を改善するが、元のデータの性能には影響しない。
論文 参考訳(メタデータ) (2020-10-16T18:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。