論文の概要: DADA: Dialect Adaptation via Dynamic Aggregation of Linguistic Rules
- arxiv url: http://arxiv.org/abs/2305.13406v3
- Date: Wed, 6 Dec 2023 00:19:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 19:13:44.321903
- Title: DADA: Dialect Adaptation via Dynamic Aggregation of Linguistic Rules
- Title(参考訳): DADA:言語規則の動的集約による辞書適応
- Authors: Yanchen Liu, William Held, Diyi Yang
- Abstract要約: DADAは、多言語対応のSAE訓練モデルに対するモジュラーアプローチである。
DADAは単一タスクと命令言語モデルの両方に有効であることを示す。
- 参考スコア(独自算出の注目度): 64.93179829965072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing large language models (LLMs) that mainly focus on Standard American
English (SAE) often lead to significantly worse performance when being applied
to other English dialects. While existing mitigations tackle discrepancies for
individual target dialects, they assume access to high-accuracy dialect
identification systems. The boundaries between dialects are inherently
flexible, making it difficult to categorize language into discrete predefined
categories. In this paper, we propose DADA (Dialect Adaptation via Dynamic
Aggregation), a modular approach to imbue SAE-trained models with
multi-dialectal robustness by composing adapters which handle specific
linguistic features. The compositional architecture of DADA allows for both
targeted adaptation to specific dialect variants and simultaneous adaptation to
various dialects. We show that DADA is effective for both single task and
instruction finetuned language models, offering an extensible and interpretable
framework for adapting existing LLMs to different English dialects.
- Abstract(参考訳): 主に標準アメリカ英語(SAE)に焦点を当てた既存の大きな言語モデル(LLM)は、他の英語方言に適用された場合、かなりパフォーマンスが悪化する。
既存の緩和策は個々のターゲット方言の相違に対処しているが、それらは高精度な方言識別システムへのアクセスを想定している。
方言間の境界は本質的に柔軟であり、言語を個別に定義したカテゴリに分類することは困難である。
本稿では,特定の言語的特徴を扱うアダプタを構成することによって,マルチダイアレクティブロバスト性を持つ imbue sae 学習モデルに対するモジュラーアプローチである dada (dialect adaptation via dynamic aggregation) を提案する。
DADAのコンポジションアーキテクチャは、特定の方言の変種へのターゲット適応と、様々な方言への同時適応の両方を可能にする。
DADAは単一タスクと命令微調整言語モデルの両方に有効であることを示し、既存のLLMを異なる英語方言に適応するための拡張可能かつ解釈可能なフレームワークを提供する。
関連論文リスト
- Task-Agnostic Low-Rank Adapters for Unseen English Dialects [52.88554155235167]
LLM(Large Language Models)は、標準アメリカ英語を好んで不均等に重み付けされたコーパスで訓練される。
HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。
論文 参考訳(メタデータ) (2023-11-02T01:17:29Z) - TADA: Task-Agnostic Dialect Adapters for English [44.39195676661607]
大きな言語モデルは、標準アメリカ英語(SAE)以外の英語方言の話者よりも高いレートで失敗する
本研究では,非SAE方言をアダプティブを用いて調整し,それをSAEのタスク固有アダプタと組み合わせることで,タスク非依存の方言適応のための簡易かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-05-26T05:45:03Z) - Multi-VALUE: A Framework for Cross-Dialectal English NLP [49.55176102659081]
マルチディレクト (Multi-Dilect) は、50の英語方言にまたがる制御可能なルールベースの翻訳システムである。
ストレステストは、非標準方言の先行モデルに対する顕著な性能格差を示す。
私たちはチカノやインド英語のネイティブスピーカーと提携して、人気のあるCoQAタスクの新しいゴールドスタンダード版をリリースしています。
論文 参考訳(メタデータ) (2022-12-15T18:17:01Z) - A Highly Adaptive Acoustic Model for Accurate Multi-Dialect Speech
Recognition [80.87085897419982]
単一AMを用いた高精度多言語音声認識のための新しい音響モデリング手法を提案する。
提案するAMは、方言情報とその内部表現に基づいて動的に適応し、複数の方言を同時に扱うための高度適応型AMとなる。
大規模音声データセットにおける実験結果から,提案したAMは,方言固有のAMと比較して,単語誤り率(WER)が8.11%,方言固有のAMに比べて7.31%向上していることがわかった。
論文 参考訳(メタデータ) (2022-05-06T06:07:09Z) - VALUE: Understanding Dialect Disparity in NLU [50.35526025326337]
アフリカ・アメリカン・バーナクラ・イングリッシュ(AAVE)の11つの特徴に関するルールを構築した。
言語的アクセプタビリティ判断により,各特徴変換の検証を行うために,流線型AAVE話者を募集する。
実験により、これらの新しい方言の特徴がモデル性能の低下につながることが示された。
論文 参考訳(メタデータ) (2022-04-06T18:30:56Z) - Efficient Test Time Adapter Ensembling for Low-resource Language
Varieties [115.12997212870962]
多言語事前学習モデルの言語間移動を容易にするために,特殊言語とタスクアダプタが提案されている。
直感的な解法は、新しい言語の種類に関連言語アダプタを使用することであるが、この解が準最適性能をもたらすことを観察する。
本稿では,新しいアダプタを訓練することなく,未知言語への言語アダプタの堅牢性を向上させることを目的とする。
論文 参考訳(メタデータ) (2021-09-10T13:44:46Z) - Learning to Recognize Dialect Features [21.277962038423123]
本稿では,方言の特徴検出の課題を紹介するとともに,2つのマルチタスク学習手法を提案する。
言語学者は通常、方言の特徴をどのように定義するかに基づいて、モデルを少数の最小のペアでトレーニングします。
論文 参考訳(メタデータ) (2020-10-23T23:25:00Z) - UDapter: Language Adaptation for Truly Universal Dependency Parsing [6.346772579930929]
言語間干渉と抑制されたモデルキャパシティは、多言語依存解析の主要な障害である。
本稿では,コンテキストパラメータ生成とアダプタモジュールに基づく多言語タスク適応手法を提案する。
その結果、UDapterは、高リソースと低リソース(ゼロショット)両方の言語で、強いモノリンガルと多言語ベースラインを上回ります。
論文 参考訳(メタデータ) (2020-04-29T16:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。