論文の概要: Distilling Knowledge from Large Language Models: A Concept Bottleneck Model for Hate and Counter Speech Recognition

• arxiv url: http://arxiv.org/abs/2508.08274v1
• Date: Wed, 30 Jul 2025 21:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-17 22:58:06.158081
• Title: Distilling Knowledge from Large Language Models: A Concept Bottleneck Model for Hate and Counter Speech Recognition
• Title（参考訳）: 大規模言語モデルから知識を抽出する:HateとCounterの音声認識のための概念ボトルネックモデル
• Authors: Roberto Labadie-Tamayo, Djordje Slijepčević, Xihui Chen, Adrian Jaques Böck, Andreas Babic, Liz Freimann, Christiane Atzmüller Matthias Zeppelzauer,
• Abstract要約: 本稿では,自動ヘイトと対向音声認識のための新しい透過的手法を提案する。 SCBM(Speech Concept Bottleneck Model)では,形容詞を人間の解釈可能なボトルネック概念として用いている。 以上の結果から,形容詞に基づく概念表現は,ヘイトや反音声認識のためのコンパクトで解釈可能な,効果的なエンコーディングとして機能することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid increase in hate speech on social media has exposed an unprecedented impact on society, making automated methods for detecting such content important. Unlike prior black-box models, we propose a novel transparent method for automated hate and counter speech recognition, i.e., "Speech Concept Bottleneck Model" (SCBM), using adjectives as human-interpretable bottleneck concepts. SCBM leverages large language models (LLMs) to map input texts to an abstract adjective-based representation, which is then sent to a light-weight classifier for downstream tasks. Across five benchmark datasets spanning multiple languages and platforms (e.g., Twitter, Reddit, YouTube), SCBM achieves an average macro-F1 score of 0.69 which outperforms the most recently reported results from the literature on four out of five datasets. Aside from high recognition accuracy, SCBM provides a high level of both local and global interpretability. Furthermore, fusing our adjective-based concept representation with transformer embeddings, leads to a 1.8% performance increase on average across all datasets, showing that the proposed representation captures complementary information. Our results demonstrate that adjective-based concept representations can serve as compact, interpretable, and effective encodings for hate and counter speech recognition. With adapted adjectives, our method can also be applied to other NLP tasks.
• Abstract（参考訳）: ソーシャルメディア上でのヘイトスピーチの急速な増加は、社会に前例のない影響を与え、そのようなコンテンツを自動検出する方法を重要視している。 従来のブラックボックスモデルとは違って,人間の解釈可能なボトルネック概念として形容詞を用いて,自動ヘイトと対向音声認識,すなわち"Speech Concept Bottleneck Model"(SCBM)を提案する。 SCBMは、入力テキストを抽象形容詞ベースの表現にマッピングするために、大きな言語モデル(LLM)を利用する。 複数の言語とプラットフォームにまたがる5つのベンチマークデータセット(例えば、Twitter、Reddit、YouTube)で、SCBMは平均マクロF1スコア0.69を達成した。 SCBMは、高い認識精度の他に、局所的およびグローバルな解釈可能性の高いレベルを提供する。 さらに、形容詞に基づく概念表現をトランスフォーマー埋め込みで融合させることで、すべてのデータセットの平均で1.8%のパフォーマンスが向上し、提案した表現が相補的な情報をキャプチャすることを示す。 以上の結果から,形容詞に基づく概念表現は,ヘイトや反音声認識のためのコンパクトで解釈可能な,効果的なエンコーディングとして機能することが示唆された。 適応形容詞では、他のNLPタスクにも適用できる。

関連論文リスト

• What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
  音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
  論文  参考訳（メタデータ） (2025-06-14T15:26:31Z)
• DM-Codec: Distilling Multimodal Representations for Speech Tokenization [11.433520275513803]
  DM-Codecは文脈情報を含む言語モデル誘導蒸留法である。 WERは13.46%まで低下し、WILは9.82%、音声品質は5.84%向上し、LibriSpeechベンチマークデータセットでは1.85%向上した。
  論文  参考訳（メタデータ） (2024-10-19T07:14:14Z)
• Roadmap towards Superhuman Speech Understanding using Large Language Models [60.57947401837938]
  大規模言語モデル(LLM)は、音声データと音声データを統合したものである。 GPT-4oのような最近の進歩は、エンドツーエンドのLLMの可能性を強調している。 本稿では,基本自動音声認識(ASR)から高度な超人モデルまで,5段階のロードマップを提案する。
  論文  参考訳（メタデータ） (2024-10-17T06:44:06Z)
• Towards Interpretable Hate Speech Detection using Large Language Model-extracted Rationales [15.458557611029518]
  ソーシャルメディアプラットフォームは、ユーザーが対人的な議論を行い、意見を述べるための重要な場である。 ヘイトスピーチのインスタンスを自動的に識別し、フラグを付ける必要がある。 本稿では,現在最先端の大規模言語モデル (LLM) を用いて,入力テキストから有理形の特徴を抽出することを提案する。
  論文  参考訳（メタデータ） (2024-03-19T03:22:35Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
  CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。 ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
  論文  参考訳（メタデータ） (2024-01-24T15:25:01Z)
• Generative Spoken Language Model based on continuous word-sized audio tokens [52.081868603603844]
  本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。 結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2023-10-08T16:46:14Z)
• Bidirectional Representations for Low Resource Spoken Language Understanding [39.208462511430554]
  双方向リッチ符号化における音声符号化のための表現モデルを提案する。 このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。 得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T17:05:16Z)
• An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features [13.97006782398121]
  変換器による双方向表現(BERT)モデルが提案され,多くの自然言語処理タスクにおいて記録破りの成功を収めた。 本研究では,不完全な自動音声認識によるネガティブな影響を軽減するために,信頼度スコアを文表現に組み込むことを検討した。 提案手法の有効性をベンチマークデータセットで検証する。
  論文  参考訳（メタデータ） (2020-06-01T18:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。