論文の概要: Mario at EXIST 2025: A Simple Gateway to Effective Multilingual Sexism Detection

• arxiv url: http://arxiv.org/abs/2507.10996v1
• Date: Tue, 15 Jul 2025 05:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:02.990236
• Title: Mario at EXIST 2025: A Simple Gateway to Effective Multilingual Sexism Detection
• Title（参考訳）: Mario at EXIST 2025: 効果的なマルチリンガル性検出のためのシンプルなゲートウェイ
• Authors: Lin Tian, Johanne R. Trippas, Marian-Andrei Rizoiu,
• Abstract要約: EXIST 2025 Task 1は、Llama 3.1 8Bの階層的低ランク適応(LoRA)を通じて、英語とスペイン語のツイートでテキストベースの性差別を検出する。 本手法では,3つの階層的なサブタスク間の依存関係を明示的にモデル化する条件付きアダプタルーティングを導入する。 提案手法は,トレーニング時間を75%削減し,モデルストレージを98%削減すると同時に,すべてのサブタスクで競合性能を実現する。
• 参考スコア（独自算出の注目度）: 8.40042895828361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents our approach to EXIST 2025 Task 1, addressing text-based sexism detection in English and Spanish tweets through hierarchical Low-Rank Adaptation (LoRA) of Llama 3.1 8B. Our method introduces conditional adapter routing that explicitly models label dependencies across three hierarchically structured subtasks: binary sexism identification, source intention detection, and multilabel sexism categorization. Unlike conventional LoRA applications that target only attention layers, we apply adaptation to all linear transformations, enhancing the model's capacity to capture task-specific patterns. In contrast to complex data processing and ensemble approaches, we show that straightforward parameter-efficient fine-tuning achieves strong performance. We train separate LoRA adapters (rank=16, QLoRA 4-bit) for each subtask using unified multilingual training that leverages Llama 3.1's native bilingual capabilities. The method requires minimal preprocessing and uses standard supervised learning. Our multilingual training strategy eliminates the need for separate language-specific models, achieving 1.7-2.4\% F1 improvements through cross-lingual transfer. With only 1.67\% trainable parameters compared to full fine-tuning, our approach reduces training time by 75\% and model storage by 98\%, while achieving competitive performance across all subtasks (ICM-Hard: 0.6774 for binary classification, 0.4991 for intention detection, 0.6519 for multilabel categorization).
• Abstract（参考訳）: 本稿では,Llama 3.1 8Bの階層的低ランク適応(LoRA)を通して,英語とスペイン語のつぶやきにおけるテキストベースの性差別検出に対処するEXIST 2025 Task 1へのアプローチを提案する。 本手法では,2進性識別,ソース意図検出,マルチラベル性分類という,階層的に構造化された3つのサブタスクにまたがる依存性を明示的にラベル付けする条件付きアダプタルーティングを導入する。 注意層のみをターゲットにした従来のLoRAアプリケーションとは異なり、すべての線形変換に適用し、タスク固有のパターンをキャプチャするモデルの能力を向上させる。 複雑なデータ処理やアンサンブルアプローチとは対照的に,パラメータ効率の良い微調整は高い性能が得られることを示す。 Llama 3.1のネイティブバイリンガル機能を利用する統一多言語トレーニングを用いて,各サブタスクに対してLoRAアダプタ(rank=16, QLoRA 4-bit)を個別にトレーニングする。 この方法は、最小限の事前処理を必要とし、標準教師付き学習を使用する。 我々の多言語学習戦略は言語固有の個別モデルの必要性を排除し、言語間移動によるF1の改善を1.7-2.4\%達成する。 フル微調整に比べてトレーニング可能なパラメータは1.67\%に過ぎず、トレーニング時間を75\%削減し、モデルストレージを98\%削減し、全てのサブタスクで競合性能を達成する(ICM-Hard: 0.6774、意図検出0.4991、マルチラベル分類0.6519、ICM-Hard: 0.6774)。

関連論文リスト

• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)
• DEPT: Decoupled Embeddings for Pre-training Language Models [16.84502158672086]
  本稿では,通信効率の高い事前学習フレームワークDEPTを提案する。 本手法はトランス体から埋め込みを分離し,同時に複数のデータソース上で後者をトレーニングする。 我々は,10億規模モデルの最初の語彙に依存しないフェデレーション事前学習を通じて,DEPTのポテンシャルを実証する。
  論文  参考訳（メタデータ） (2024-10-07T13:24:24Z)
• From English to More Languages: Parameter-Efficient Model Reprogramming for Cross-Lingual Speech Recognition [50.93943755401025]
  言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。 我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。 提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
  論文  参考訳（メタデータ） (2023-01-19T02:37:56Z)
• Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
  このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。 SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
  論文  参考訳（メタデータ） (2022-12-04T15:36:18Z)
• Adaptive Activation Network For Low Resource Multilingual Speech Recognition [30.460501537763736]
  ASRモデルの上位層に適応的アクティベーションネットワークを導入する。 また,(1)クロス言語学習,(2)アクティベーション関数をソース言語からターゲット言語に置き換える,(2)多言語学習という2つの手法を提案する。 IARPA Babelデータセットに関する実験により、我々のアプローチは、オフスクラッチトレーニングや従来のボトルネック機能に基づく手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-28T04:02:59Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training [21.934439663979663]
  多言語事前学習言語モデル(MPLM)に基づくマルチブランチ多言語言語モデル(MBLM) 教師学習フレームワークを用いた高性能単言語モデルからの知識の伝達に基づく方法 2つの言語横断型分類タスクの結果から,MPLMの教師付きデータのみを用いることで,教師付き性能とゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-02-28T09:51:32Z)
• Multilingual Speech Recognition using Knowledge Transfer across Learning Processes [15.927513451432946]
  実験結果から,WER全体の3.55%の相対的な減少が得られた。 LEAPとSSLの組み合わせにより、言語IDを使用する場合、WER全体の3.51%が相対的に減少する。
  論文  参考訳（メタデータ） (2021-10-15T07:50:27Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。