論文の概要: Task-Agnostic Low-Rank Adapters for Unseen English Dialects
- arxiv url: http://arxiv.org/abs/2311.00915v1
- Date: Thu, 2 Nov 2023 01:17:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 15:15:40.914109
- Title: Task-Agnostic Low-Rank Adapters for Unseen English Dialects
- Title(参考訳): 目立たない英語方言のためのタスク非依存低ランクアダプタ
- Authors: Zedian Xiao, William Held, Yanchen Liu, and Diyi Yang
- Abstract要約: LLM(Large Language Models)は、標準アメリカ英語を好んで不均等に重み付けされたコーパスで訓練される。
HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。
- 参考スコア(独自算出の注目度): 52.88554155235167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are trained on corpora disproportionally
weighted in favor of Standard American English. As a result, speakers of other
dialects experience significantly more failures when interacting with these
technologies. In practice, these speakers often accommodate their speech to be
better understood. Our work shares the belief that language technologies should
be designed to accommodate the diversity in English dialects and not the other
way around. However, prior works on dialect struggle with generalizing to
evolving and emerging dialects in a scalable manner. To fill this gap, our
method, HyperLoRA, leverages expert linguistic knowledge to enable
resource-efficient adaptation via hypernetworks. By disentangling
dialect-specific and cross-dialectal information, HyperLoRA improves
generalization to unseen dialects in a task-agnostic fashion. Not only is
HyperLoRA more scalable in the number of parameters, but it also achieves the
best or most competitive performance across 5 dialects in a zero-shot setting.
In this way, our approach facilitates access to language technology for
billions of English dialect speakers who are traditionally underrepresented.
- Abstract(参考訳): LLM(Large Language Models)は、標準アメリカ英語に好意的に重み付けされたコーパスで訓練される。
その結果、他の方言話者はこれらの技術と対話する際に、はるかに多くの失敗を経験する。
実際には、これらの話者はしばしば彼らのスピーチをよりよく理解するために適応する。
私たちの研究は、言語技術は英語の方言の多様性に対応するために設計されるべきである、という信念を共有しています。
しかし、方言に関する先行研究は、進化と新興の方言へのスケーラブルな一般化に苦しむ。
このギャップを埋めるために,我々の手法であるHyperLoRAは専門的な言語知識を活用し,ハイパーネットワークによる資源効率の高い適応を可能にする。
HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。
HyperLoRAはパラメータの数でスケーラビリティが高いだけでなく、ゼロショット設定で5つの方言で最高の、最も競争力のあるパフォーマンスを達成する。
このように、我々のアプローチは、伝統的に過小評価されている数十億の英語方言話者の言語技術へのアクセスを促進する。
関連論文リスト
- What Do Dialect Speakers Want? A Survey of Attitudes Towards Language
Technology for German Dialects [28.416762081006578]
我々はドイツ語に関連する方言と地域言語に関する話者を調査した。
回答者は特に、方言入力で動作する潜在的なNLPツールを好んでいる。
論文 参考訳(メタデータ) (2024-02-19T09:15:28Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳(メタデータ) (2023-10-23T17:42:01Z) - DADA: Dialect Adaptation via Dynamic Aggregation of Linguistic Rules [64.93179829965072]
DADAは、多言語対応のSAE訓練モデルに対するモジュラーアプローチである。
DADAは単一タスクと命令言語モデルの両方に有効であることを示す。
論文 参考訳(メタデータ) (2023-05-22T18:43:31Z) - Multi-VALUE: A Framework for Cross-Dialectal English NLP [49.55176102659081]
マルチディレクト (Multi-Dilect) は、50の英語方言にまたがる制御可能なルールベースの翻訳システムである。
ストレステストは、非標準方言の先行モデルに対する顕著な性能格差を示す。
私たちはチカノやインド英語のネイティブスピーカーと提携して、人気のあるCoQAタスクの新しいゴールドスタンダード版をリリースしています。
論文 参考訳(メタデータ) (2022-12-15T18:17:01Z) - A Highly Adaptive Acoustic Model for Accurate Multi-Dialect Speech
Recognition [80.87085897419982]
単一AMを用いた高精度多言語音声認識のための新しい音響モデリング手法を提案する。
提案するAMは、方言情報とその内部表現に基づいて動的に適応し、複数の方言を同時に扱うための高度適応型AMとなる。
大規模音声データセットにおける実験結果から,提案したAMは,方言固有のAMと比較して,単語誤り率(WER)が8.11%,方言固有のAMに比べて7.31%向上していることがわかった。
論文 参考訳(メタデータ) (2022-05-06T06:07:09Z) - VALUE: Understanding Dialect Disparity in NLU [50.35526025326337]
アフリカ・アメリカン・バーナクラ・イングリッシュ(AAVE)の11つの特徴に関するルールを構築した。
言語的アクセプタビリティ判断により,各特徴変換の検証を行うために,流線型AAVE話者を募集する。
実験により、これらの新しい方言の特徴がモデル性能の低下につながることが示された。
論文 参考訳(メタデータ) (2022-04-06T18:30:56Z) - LMSOC: An Approach for Socially Sensitive Pretraining [4.857837729560728]
本稿では,大規模言語モデルの学習表現に話者社会コンテキストを組み込むための,シンプルで効果的な手法を提案する。
提案手法はまず,まずグラフ表現学習アルゴリズムを用いて社会的文脈の密集表現を学習し,次にこれらの社会的文脈表現で事前学習する素数言語モデルを学習する。
論文 参考訳(メタデータ) (2021-10-20T00:10:37Z) - Learning to Recognize Dialect Features [21.277962038423123]
本稿では,方言の特徴検出の課題を紹介するとともに,2つのマルチタスク学習手法を提案する。
言語学者は通常、方言の特徴をどのように定義するかに基づいて、モデルを少数の最小のペアでトレーニングします。
論文 参考訳(メタデータ) (2020-10-23T23:25:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。