論文の概要: Enhancing Romanian Offensive Language Detection through Knowledge Distillation, Multi-Task Learning, and Data Augmentation

• arxiv url: http://arxiv.org/abs/2409.20498v1
• Date: Mon, 30 Sep 2024 16:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 05:36:48.586355
• Title: Enhancing Romanian Offensive Language Detection through Knowledge Distillation, Multi-Task Learning, and Data Augmentation
• Title（参考訳）: 知識蒸留・マルチタスク学習・データ拡張によるルーマニア語攻撃言語検出の強化
• Authors: Vlad-Cristian Matei, Iulian-Marius Tăiatu, Răzvan-Alexandru Smădu, Dumitru-Clementin Cercel,
• Abstract要約: 本稿では,人工知能における自然言語処理(NLP)の重要性を強調する。 NLPの最近の進歩、特に会話型ボットは、開発者の間でかなりの注目を集め、採用されている。
• 参考スコア（独自算出の注目度）: 1.1484381570538684
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper highlights the significance of natural language processing (NLP) within artificial intelligence, underscoring its pivotal role in comprehending and modeling human language. Recent advancements in NLP, particularly in conversational bots, have garnered substantial attention and adoption among developers. This paper explores advanced methodologies for attaining smaller and more efficient NLP models. Specifically, we employ three key approaches: (1) training a Transformer-based neural network to detect offensive language, (2) employing data augmentation and knowledge distillation techniques to increase performance, and (3) incorporating multi-task learning with knowledge distillation and teacher annealing using diverse datasets to enhance efficiency. The culmination of these methods has yielded demonstrably improved outcomes.
• Abstract（参考訳）: 本稿では,人工知能における自然言語処理(NLP)の重要性を強調し,その理解とモデル化における重要な役割について述べる。 NLPの最近の進歩、特に会話型ボットは、開発者の間でかなりの注目を集め、採用されている。 本稿では,より小型で効率的なNLPモデルを実現するための高度な手法について検討する。 具体的には,(1)攻撃的言語を検出するためにトランスフォーマーベースのニューラルネットワークをトレーニングすること,(2)データ拡張と知識蒸留技術を用いて性能を向上させること,(3)知識蒸留とマルチタスク学習を併用すること,(3)多様なデータセットを用いて教師のアニーリングを行い,効率を高めること,の3つの主要なアプローチを用いる。 これらの手法の完成は、明らかに改善された結果をもたらす。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Deep Learning and Machine Learning -- Natural Language Processing: From Theory to Application [17.367710635990083]
  自然言語処理(NLP)と大規模言語モデル(LLM)の役割に焦点を当てる。 本稿では,データ前処理技術とHugging Faceのようなフレームワークを用いたトランスフォーマーモデルの実装について論じる。 マルチリンガルデータの扱い、バイアスの低減、モデルの堅牢性確保といった課題を強調している。
  論文  参考訳（メタデータ） (2024-10-30T09:35:35Z)
• Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
  我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。 提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。 その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
  論文  参考訳（メタデータ） (2024-09-19T09:24:36Z)
• Informed Meta-Learning [55.2480439325792]
  メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。 我々は,非構造化知識表現からの事前の取り込みを容易にする,情報メタラーニングというハイブリッドパラダイムを定式化する。 データ効率、観測ノイズに対する堅牢性、タスク分散シフトを改善する上で、情報メタラーニングの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-02-25T15:08:37Z)
• Deep Learning Approaches for Improving Question Answering Systems in Hepatocellular Carcinoma Research [0.0]
  近年,自然言語処理(NLP)の進歩は,ディープラーニング技術によって加速されている。 膨大な量のデータに基づいてトレーニングされたBERTとGPT-3は、言語理解と生成に革命をもたらした。 本稿では,大規模モデルベースNLPの現状と今後の展望について述べる。
  論文  参考訳（メタデータ） (2024-02-25T09:32:17Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models [185.08295787309544]
  我々は、事前訓練された言語モデルに基づく知識強化モデル(PLMKEs)の現在の進歩を要約することを目的としている。 本論では,3つの要素に関する議論に基づくPLMKEの課題について述べるとともに,NLP実践者にさらなる研究の道筋を示そうとしている。
  論文  参考訳（メタデータ） (2022-02-17T17:17:43Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)
• Natural Language Processing Advancements By Deep Learning: A Survey [0.755972004983746]
  この調査は、ディープラーニングの恩恵を受けたNLPのさまざまな側面と応用を分類し、対処する。 コアNLPタスクとアプリケーションをカバーするもので、深層学習手法とモデルがどのようにこれらの領域を前進させるかを記述している。
  論文  参考訳（メタデータ） (2020-03-02T21:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。