論文の概要: Extreme Speech Classification in the Era of LLMs: Exploring Open-Source and Proprietary Models

• arxiv url: http://arxiv.org/abs/2502.15155v1
• Date: Fri, 21 Feb 2025 02:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:12.700842
• Title: Extreme Speech Classification in the Era of LLMs: Exploring Open-Source and Proprietary Models
• Title（参考訳）: LLM時代の極端音声分類--オープンソースモデルとプライオリティモデルを探る
• Authors: Sarthak Mahajan, Nimmi Rangaswamy,
• Abstract要約: ChatGPTはLarge Language Models (LLMs)の潜在的な応用に世界的な注目を集めている。 我々は、Maronikolakis et al. (2022) の極端な音声データセットのインドのサブセットを活用し、LLMを用いた効果的な分類フレームワークを開発する。 我々は,オープンソースLlamaモデルをオープンソースOpenAIモデルと比較し,事前学習したLLMは適度な有効性を示すが,ドメイン固有データによる微調整は性能を著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 0.30693357740321775
• License:
• Abstract: In recent years, widespread internet adoption and the growth in userbase of various social media platforms have led to an increase in the proliferation of extreme speech online. While traditional language models have demonstrated proficiency in distinguishing between neutral text and non-neutral text (i.e. extreme speech), categorizing the diverse types of extreme speech presents significant challenges. The task of extreme speech classification is particularly nuanced, as it requires a deep understanding of socio-cultural contexts to accurately interpret the intent of the language used by the speaker. Even human annotators often disagree on the appropriate classification of such content, emphasizing the complex and subjective nature of this task. The use of human moderators also presents a scaling issue, necessitating the need for automated systems for extreme speech classification. The recent launch of ChatGPT has drawn global attention to the potential applications of Large Language Models (LLMs) across a diverse variety of tasks. Trained on vast and diverse corpora, and demonstrating the ability to effectively capture and encode contextual information, LLMs emerge as highly promising tools for tackling this specific task of extreme speech classification. In this paper, we leverage the Indian subset of the extreme speech dataset from Maronikolakis et al. (2022) to develop an effective classification framework using LLMs. We evaluate open-source Llama models against closed-source OpenAI models, finding that while pre-trained LLMs show moderate efficacy, fine-tuning with domain-specific data significantly enhances performance, highlighting their adaptability to linguistic and contextual nuances. Although GPT-based models outperform Llama models in zero-shot settings, the performance gap disappears after fine-tuning.
• Abstract（参考訳）: 近年、インターネットの普及と様々なソーシャルメディアプラットフォームでのユーザーベースの増加により、オンライン上での極端な言論の急増がもたらされている。 従来の言語モデルは、中性テキストと非中性テキスト(すなわち極端なスピーチ)を区別する能力を示してきたが、様々なタイプの極端なスピーチを分類することは重大な課題である。 極端な音声分類の課題は、話者が使用する言語の意図を正確に解釈するために、社会文化的文脈の深い理解を必要とするため、特に曖昧である。 人間のアノテータでさえ、こうした内容の適切な分類に異を唱え、このタスクの複雑で主観的な性質を強調している。 人間のモデレーターの使用もスケーリングの問題であり、極端な音声分類のための自動システムが必要である。 ChatGPTの最近のローンチは、多種多様なタスクにわたるLarge Language Models (LLM)の潜在的な応用に世界的な注目を集めている。 広範で多様なコーパスをトレーニングし、文脈情報を効果的にキャプチャしてエンコードする能力を示すことで、LLMは、この極端な音声分類の特定のタスクに取り組むための、非常に有望なツールとして出現する。 本稿では,Maronikolakis et al (2022) による極端な音声データセットのインドのサブセットを活用し,LLMを用いた効果的な分類フレームワークを開発する。 我々は,オープンソースLlamaモデルをオープンソースOpenAIモデルと比較し,事前学習したLLMは適度な有効性を示すが,ドメイン固有データによる微調整により性能が著しく向上し,言語的および文脈的ニュアンスへの適応性が強調されることを示した。 GPTベースのモデルはゼロショット設定でLlamaモデルより優れているが、微調整後に性能差は消える。

関連論文リスト

• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Self-Powered LLM Modality Expansion for Large Speech-Text Models [62.27700381806554]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示す。 本研究は,バニラ調律の限界に対処して,LSM訓練における音声データセットの利用を改良することを目的とする。 そこで本研究では,モデル自体が生成する拡張音声認識データを利用して,より効果的な命令チューニングを行う自己力 LSM を提案する。
  論文  参考訳（メタデータ） (2024-10-04T04:34:24Z)
• Harnessing the Intrinsic Knowledge of Pretrained Language Models for Challenging Text Classification Settings [5.257719744958367]
  この論文は、事前学習された言語モデル(PLM)の本質的な知識を活用することによって、テキスト分類における3つの挑戦的な設定を探求する。 本研究では, PLMの文脈表現に基づく特徴量を利用したモデルを構築し, 人間の精度に匹敵する, あるいは超越する性能を実現する。 最後に、実効的な実演を選択することで、大規模言語モデルの文脈内学習プロンプトに対する感受性に取り組む。
  論文  参考訳（メタデータ） (2024-08-28T09:07:30Z)
• Scaling Properties of Speech Language Models [4.0142527158949415]
  音声言語モデル(SLM)は、テキストリソースを使わずに、生音声から言語を学ぶことを目的としている。 テキストベース大規模言語モデル(LLM)の英語習熟度を用いて,現在の手法がSLMを生成するスケールを推定する。
  論文  参考訳（メタデータ） (2024-03-31T13:30:12Z)
• SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
  CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。 ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
  論文  参考訳（メタデータ） (2024-01-24T15:25:01Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework [114.63823178097402]
  本稿では,汎用音声表現学習のための自己教師型学習フレームワーク MGF を提案する。 具体的には、生成学習手法を用いて、小さな時間スケールできめ細かい情報を捕捉し、識別学習手法を用いて、粗い情報や意味情報を大規模に蒸留することを提案する。
  論文  参考訳（メタデータ） (2021-02-03T08:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。