論文の概要: Harnessing Test-time Adaptation for NLU tasks Involving Dialects of English

• arxiv url: http://arxiv.org/abs/2503.12858v1
• Date: Mon, 17 Mar 2025 06:40:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:35:28.071810
• Title: Harnessing Test-time Adaptation for NLU tasks Involving Dialects of English
• Title（参考訳）: 英語の方言を含むNLUタスクに対するテスト時間適応のハーネス化
• Authors: Duke Nguyen, Aditya Joshi, Flora Salim,
• Abstract要約: テスト時間適応(TTA)はラベル付きデータセットを使わずにモデルを一般化する優れた手法である。 我々は、方言NLPにおいて最も有名なTTA技法の1つであるSHOTを探索する。 その結果,ラベル付きデータセットが利用できない場合,SHOTは有効な手法であることがわかった。
• 参考スコア（独自算出の注目度）: 2.8514881296685113
• License:
• Abstract: Test-time adaptation (TTA) is an excellent method which helps generalize models across domains, tasks, and distributions without the use of labeled datasets. Thus, TTA is very useful in natural language processing (NLP) in the dialectal setting, since oftentimes, models are trained on Standard American English (SAE), evaluated on Indian English or Nigerian English, of which distribution differs significantly from the former. This is especially useful since dialectal datasets are scarce. In this paper, we explore one of the most famous TTA techniques, SHOT, in dialectal NLP. We finetune and evaluate SHOT on different combinations of dialectal GLUE. Our findings show that SHOT is a viable technique when labeled datasets are unavailable. We also theoretically propose the concept of dialectal gap and show that it has a positive correlation with the effectiveness of SHOT. We also find that in many cases, finetuning on SAE yields higher performance than finetuning on dialectal data. Our code is available at https://github.com/dukenguyenxyz/dialect-adaptation
• Abstract（参考訳）: テスト時間適応(TTA)は、ラベル付きデータセットを使わずに、ドメイン、タスク、ディストリビューションのモデルを一般化するのに役立つ優れた方法である。 したがって、TTAは方言設定における自然言語処理(NLP)において非常に有用であり、しばしば標準アメリカ英語(SAE)で訓練され、インド英語やナイジェリア英語で評価される。 これは方言データセットが不足しているため特に有用である。 本稿では、方言NLPにおける最も有名なTTA技法の1つであるSHOTについて検討する。 方言GLUEの異なる組み合わせでSHOTを微調整し,評価した。 その結果,ラベル付きデータセットが利用できない場合,SHOTは有効な手法であることがわかった。 また、理論的に弁証的ギャップの概念を提案し、SHOTの有効性と正の相関を示す。 また、多くの場合、SAEの微調整は方言データの微調整よりも高い性能が得られることが判明した。 私たちのコードはhttps://github.com/dukenguyenxyz/dialect-adaptationで利用可能です。

関連論文リスト

• Evaluating Standard and Dialectal Frisian ASR: Multilingual Fine-tuning and Language Identification for Improved Low-resource Performance [9.624005980086707]
  最先端の手法では、大量のデータに事前訓練されたモデルをラベル付きデータを使って微調整する自己教師ありトランスファーラーニングをデプロイする。 我々は,多言語微調整データと補助言語識別タスクを用いて,Frisian ASRの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-02-07T12:42:46Z)
• Add Noise, Tasks, or Layers? MaiNLP at the VarDial 2025 Shared Task on Norwegian Dialectal Slot and Intent Detection [22.89563355840371]
  スロットとインテント検出は、古典的な自然言語理解タスクである。 低リソースシナリオに対する多くのアプローチは、まだ方言SIDデータには適用されていない。 ノルウェー品種のスロットおよびインテント検出におけるVarDial 2025共有タスクに参加する。
  論文  参考訳（メタデータ） (2025-01-07T15:36:35Z)
• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Sequence-level self-learning with multiple hypotheses [53.04725240411895]
  我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。 従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。 実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T20:47:58Z)
• AStitchInLanguageModels: Dataset and Methods for the Exploration of Idiomaticity in Pre-Trained Language Models [7.386862225828819]
  本研究は、MWEを含む自然発生文のデータセットを、細かな意味の集合に手作業で分類する。 我々は,このデータセットを,idiomを含む文の表現生成における言語モデルの有効性と,idiomを用いた言語モデルの有効性を検証するために,2つのタスクで使用する。
  論文  参考訳（メタデータ） (2021-09-09T16:53:17Z)
• Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer [3.299672391663527]
  我々は、最先端の多言語モデルを分析し、言語間の良い伝達に何が影響するかを判断する。 また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2～4倍有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-12T21:22:58Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。