論文の概要: Class Distillation with Mahalanobis Contrast: An Efficient Training Paradigm for Pragmatic Language Understanding Tasks

• arxiv url: http://arxiv.org/abs/2505.11829v1
• Date: Sat, 17 May 2025 04:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.877064
• Title: Class Distillation with Mahalanobis Contrast: An Efficient Training Paradigm for Pragmatic Language Understanding Tasks
• Title（参考訳）: Mahalanobis コントラストを用いた授業蒸留: 実践的言語理解のための効果的な学習パラダイム
• Authors: Chenlu Wang, Weimin Lyu, Ritwik Banerjee,
• Abstract要約: textbfClass textbfDistillation (ClaD)を提案する。 ClaDは2つの重要な革新を統合している: (i) クラス分布の構造的性質から得られる損失関数、(ii) クラス分離に最適化された解釈可能な決定アルゴリズム。
• 参考スコア（独自算出の注目度）: 1.1060425537315088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting deviant language such as sexism, or nuanced language such as metaphors or sarcasm, is crucial for enhancing the safety, clarity, and interpretation of online social discourse. While existing classifiers deliver strong results on these tasks, they often come with significant computational cost and high data demands. In this work, we propose \textbf{Cla}ss \textbf{D}istillation (ClaD), a novel training paradigm that targets the core challenge: distilling a small, well-defined target class from a highly diverse and heterogeneous background. ClaD integrates two key innovations: (i) a loss function informed by the structural properties of class distributions, based on Mahalanobis distance, and (ii) an interpretable decision algorithm optimized for class separation. Across three benchmark detection tasks -- sexism, metaphor, and sarcasm -- ClaD outperforms competitive baselines, and even with smaller language models and orders of magnitude fewer parameters, achieves performance comparable to several large language models (LLMs). These results demonstrate ClaD as an efficient tool for pragmatic language understanding tasks that require gleaning a small target class from a larger heterogeneous background.
• Abstract（参考訳）: 性差別や比喩や皮肉といったニュアンスド・ランゲージの検出は、オンライン社会談話の安全性、明確性、解釈を高めるために不可欠である。 既存の分類器はこれらのタスクに対して強力な結果をもたらすが、大きな計算コストと高いデータ要求が伴うことが多い。 そこで本研究では,多種多様かつ異種な背景から,小さく,明確に定義されたターゲットクラスを蒸留する,新たなトレーニングパラダイムである,‘textbf{Cla}s \textbf{D}istillation(ClaD)’を提案する。 ClaDは2つの重要なイノベーションを統合している。 (i)マハラノビス距離に基づくクラス分布の構造的性質から得られる損失関数、及び (ii)クラス分離に最適化された解釈可能な決定アルゴリズム。 ClaDは3つのベンチマーク検出タスク(性差別、比喩、皮肉)で競争ベースラインを上回り、より小さな言語モデルと桁違いに少ないパラメータでも、いくつかの大きな言語モデル(LLM)に匹敵するパフォーマンスを達成する。 これらの結果から、ClaDは、より大きな異種背景から小さなターゲットクラスを抽出する必要のある実用的な言語理解タスクの効率的なツールであることを示す。

関連論文リスト

• Multi-task Learning with Active Learning for Arabic Offensive Speech Detection [1.534667887016089]
  本稿では,多タスク学習(MTL)とアクティブラーニングを統合し,アラビアメディアテキストにおける攻撃的音声検出を強化する新しいフレームワークを提案する。 本手法は,トレーニング中のタスクの重み付けを動的に調整し,各タスクのコントリビューションのバランスをとり,性能を最適化する。 OSACT2022データセットの実験結果は、提案されたフレームワークが85.42%の最先端のマクロF1スコアを達成したことを示している。
  論文  参考訳（メタデータ） (2025-06-03T11:17:03Z)
• Extreme Speech Classification in the Era of LLMs: Exploring Open-Source and Proprietary Models [0.30693357740321775]
  ChatGPTはLarge Language Models (LLMs)の潜在的な応用に世界的な注目を集めている。 我々は、Maronikolakis et al. (2022) の極端な音声データセットのインドのサブセットを活用し、LLMを用いた効果的な分類フレームワークを開発する。 我々は,オープンソースLlamaモデルをオープンソースOpenAIモデルと比較し,事前学習したLLMは適度な有効性を示すが,ドメイン固有データによる微調整は性能を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2025-02-21T02:31:05Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• LARA: Linguistic-Adaptive Retrieval-Augmentation for Multi-Turn Intent Classification [6.459396785817196]
  LARAは言語適応型検索・拡張フレームワークで、6言語にわたるマルチターン分類タスクの精度を高める。 実験により,LARAは多ターン目的分類タスクにおける最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-03-25T07:38:40Z)
• Intent-conditioned and Non-toxic Counterspeech Generation using Multi-Task Instruction Tuning with RLAIF [14.2594830589926]
  オンラインヘイトスピーチに対する反応として定義されているCounterspeechは、非センセーショナルソリューションとしてますます利用されている。 ヘイトフルステートメントにおける社会的バイアスの背景にある実践的意味をモデル化し,反音声生成を促進させる新しいフレームワークであるCoARLを紹介した。 CoARLの最初の2つのフェーズは、連続的なマルチインストラクションチューニング、インテント、反応、攻撃的ステートメントの害を理解するためのモデルを教えること、そしてインテント条件付き逆音声を生成するためのタスク固有の低ランクアダプタ重みを学習することである。
  論文  参考訳（メタデータ） (2024-03-15T08:03:49Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Distilling Large Vision-Language Model with Out-of-Distribution Generalizability [43.984177729641615]
  本稿では,大規模教師の視覚言語モデルから軽量学生モデルへの視覚表現の蒸留について検討する。 本稿では,いくつかの指標を提案し,その手法を検証するための広範囲な実験を行う。 その結果,オープン・ボキャブラリ・アウト・オブ・ディストリビューションの分類において,ゼロショットと少数ショットの学生のパフォーマンスが著しく向上した。
  論文  参考訳（メタデータ） (2023-07-06T17:05:26Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss [37.8626106992769]
  本研究は,モデルが相互に反応し,セマンティックな類似度にスコア付けするための学習目標を最小化する効果について考察する。 目標指向対話における次の発話生成タスクにおける2つの異なるデータセットについて、このアイデアを探求する。
  論文  参考訳（メタデータ） (2021-06-20T04:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。