論文の概要: Task-Agnostic Low-Rank Adapters for Unseen English Dialects

• arxiv url: http://arxiv.org/abs/2311.00915v1
• Date: Thu, 2 Nov 2023 01:17:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 15:15:40.914109
• Title: Task-Agnostic Low-Rank Adapters for Unseen English Dialects
• Title（参考訳）: 目立たない英語方言のためのタスク非依存低ランクアダプタ
• Authors: Zedian Xiao, William Held, Yanchen Liu, and Diyi Yang
• Abstract要約: LLM(Large Language Models)は、標準アメリカ英語を好んで不均等に重み付けされたコーパスで訓練される。 HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。
• 参考スコア（独自算出の注目度）: 52.88554155235167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are trained on corpora disproportionally weighted in favor of Standard American English. As a result, speakers of other dialects experience significantly more failures when interacting with these technologies. In practice, these speakers often accommodate their speech to be better understood. Our work shares the belief that language technologies should be designed to accommodate the diversity in English dialects and not the other way around. However, prior works on dialect struggle with generalizing to evolving and emerging dialects in a scalable manner. To fill this gap, our method, HyperLoRA, leverages expert linguistic knowledge to enable resource-efficient adaptation via hypernetworks. By disentangling dialect-specific and cross-dialectal information, HyperLoRA improves generalization to unseen dialects in a task-agnostic fashion. Not only is HyperLoRA more scalable in the number of parameters, but it also achieves the best or most competitive performance across 5 dialects in a zero-shot setting. In this way, our approach facilitates access to language technology for billions of English dialect speakers who are traditionally underrepresented.
• Abstract（参考訳）: LLM(Large Language Models)は、標準アメリカ英語に好意的に重み付けされたコーパスで訓練される。 その結果、他の方言話者はこれらの技術と対話する際に、はるかに多くの失敗を経験する。 実際には、これらの話者はしばしば彼らのスピーチをよりよく理解するために適応する。 私たちの研究は、言語技術は英語の方言の多様性に対応するために設計されるべきである、という信念を共有しています。 しかし、方言に関する先行研究は、進化と新興の方言へのスケーラブルな一般化に苦しむ。 このギャップを埋めるために,我々の手法であるHyperLoRAは専門的な言語知識を活用し,ハイパーネットワークによる資源効率の高い適応を可能にする。 HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。 HyperLoRAはパラメータの数でスケーラビリティが高いだけでなく、ゼロショット設定で5つの方言で最高の、最も競争力のあるパフォーマンスを達成する。 このように、我々のアプローチは、伝統的に過小評価されている数十億の英語方言話者の言語技術へのアクセスを促進する。

関連論文リスト

• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [55.35278531907263]
  本稿では,大言語モデルの公平性と頑健性に関する最初の研究を標準的推論タスクにおける方言に提示する。 我々は、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えるために、AAVEスピーカーを採用。 標準英語と比較して、これらの広く使われているモデルのほとんどは、AAVEのクエリに対して重大な脆さと不公平さを示している。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Disentangling Dialect from Social Bias via Multitask Learning to Improve Fairness [16.746758715820324]
  本稿では,構文的および語彙的バリエーションを組み込む補助課題として,方言をモデル化するマルチタスク学習手法を提案する。 アフリカ系アメリカ人の英語方言を用いた実験では、共通学習アプローチと方言モデリングを補完することで、その公正さが向上することを示す実証的証拠を提供する。 その結果、マルチタスク学習は最先端の性能を達成し、偏りのある言語の性質をより確実に検出するのに役立つことが示唆された。
  論文  参考訳（メタデータ） (2024-06-14T12:39:39Z)
• What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects [60.8361859783634]
  我々はドイツ語に関連する方言と地域言語に関する話者を調査した。 回答者は特に、方言入力で動作する潜在的なNLPツールを好んでいる。
  論文  参考訳（メタデータ） (2024-02-19T09:15:28Z)
• DADA: Dialect Adaptation via Dynamic Aggregation of Linguistic Rules [64.93179829965072]
  DADAは、多言語対応のSAE訓練モデルに対するモジュラーアプローチである。 DADAは単一タスクと命令言語モデルの両方に有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T18:43:31Z)
• Multi-VALUE: A Framework for Cross-Dialectal English NLP [49.55176102659081]
  マルチディレクト (Multi-Dilect) は、50の英語方言にまたがる制御可能なルールベースの翻訳システムである。 ストレステストは、非標準方言の先行モデルに対する顕著な性能格差を示す。 私たちはチカノやインド英語のネイティブスピーカーと提携して、人気のあるCoQAタスクの新しいゴールドスタンダード版をリリースしています。
  論文  参考訳（メタデータ） (2022-12-15T18:17:01Z)
• Learning to Recognize Dialect Features [21.277962038423123]
  本稿では,方言の特徴検出の課題を紹介するとともに,2つのマルチタスク学習手法を提案する。 言語学者は通常、方言の特徴をどのように定義するかに基づいて、モデルを少数の最小のペアでトレーニングします。
  論文  参考訳（メタデータ） (2020-10-23T23:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。