論文の概要: Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages?

• arxiv url: http://arxiv.org/abs/2311.00268v1
• Date: Wed, 1 Nov 2023 03:32:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 14:54:49.192138
• Title: Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages?
• Title（参考訳）: トランスフォーマー言語モデルにおける構文誘導バイアス:低リソース言語に特に役立つか?
• Authors: Luke Gessler, Nathan Schneider
• Abstract要約: Transformerベースの言語モデルに関する一連の研究は、事前学習プロセスを強化するために構文的帰納バイアスを使用しようと試みている。 低リソース言語において,これらの手法がデータスパース性を補うことができるかどうかを検討する。 これらの構文的帰納バイアス法は低リソース環境において不均一な結果をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 10.324936426012417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A line of work on Transformer-based language models such as BERT has attempted to use syntactic inductive bias to enhance the pretraining process, on the theory that building syntactic structure into the training process should reduce the amount of data needed for training. But such methods are often tested for high-resource languages such as English. In this work, we investigate whether these methods can compensate for data sparseness in low-resource languages, hypothesizing that they ought to be more effective for low-resource languages. We experiment with five low-resource languages: Uyghur, Wolof, Maltese, Coptic, and Ancient Greek. We find that these syntactic inductive bias methods produce uneven results in low-resource settings, and provide surprisingly little benefit in most cases.
• Abstract（参考訳）: BERTのようなトランスフォーマーベースの言語モデルに関する一連の研究は、トレーニングプロセスに構文構造を構築することによって、トレーニングに必要なデータ量を削減できるという理論に基づいて、事前学習プロセスを強化するために構文的帰納バイアスを使用しようと試みている。 しかし、このような手法は英語などの高リソース言語でしばしばテストされる。 本研究では,これらの手法が低リソース言語でデータスパース性を補うことができるかどうかを検討する。 我々はウグル語、ウーロフ語、マルタ語、コプト語、古代ギリシア語の5つの低リソース言語を実験した。 これらの構文的帰納バイアス法は低リソース環境において不均一な結果をもたらし、ほとんどの場合驚くほど少ない利益をもたらす。

関連論文リスト

• BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques [0.0]
  この研究はバングラ語のための2つの軽量な文変換器を導入している。 この方法は、事前訓練されたハイパフォーマンスな英語文変換器からの知識を蒸留する。 新しい手法は既存のBangla文変換器を一貫して上回った。
  論文  参考訳（メタデータ） (2024-11-22T13:03:25Z)
• Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
  本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。 我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
  論文  参考訳（メタデータ） (2024-06-21T20:02:22Z)
• Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching [1.746529892290768]
  本研究は、語彙マッチングを用いてBERT機能を高リソース言語から低リソース言語に転送する新しい手法を提案する。 我々はシレジア語とカシュビ語で実験を行い、目標言語が最小限の訓練データを持つ場合でもBERTモデルの性能向上のためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-22T09:49:26Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• The Best of Both Worlds: Combining Human and Machine Translations for Multilingual Semantic Parsing with Active Learning [50.320178219081484]
  人文翻訳と機械翻訳の両方の長所を生かした能動的学習手法を提案する。 理想的な発話選択は、翻訳されたデータの誤りとバイアスを著しく低減することができる。
  論文  参考訳（メタデータ） (2023-05-22T05:57:47Z)
• Improving Cross-lingual Information Retrieval on Low-Resource Languages via Optimal Transport Distillation [21.057178077747754]
  本稿では,低リソースな言語間情報検索のためのOPTICAL: Optimal Transport 蒸留法を提案する。 クエリドキュメントマッチングの知識から言語間知識を分離することにより、OPTICALは蒸留訓練のためのbitextデータのみを必要とする。 実験結果から,OPTICALは最小限のトレーニングデータにより,低リソース言語上での強いベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-01-29T22:30:36Z)
• An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation [21.636157115922693]
  補助データを生成する効果的な方法は、ターゲット言語文のバック翻訳です。 本稿では,Tigrinyaを事例として,合成原文を生成するバックトランスレーション法について検討する。
  論文  参考訳（メタデータ） (2021-03-31T03:31:09Z)
• Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
  我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。 私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
  論文  参考訳（メタデータ） (2020-11-02T10:57:53Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Building Low-Resource NER Models Using Non-Speaker Annotation [58.78968578460793]
  言語横断的な手法はこれらの懸念に対処する上で顕著な成功を収めた。 本稿では,Non-Speaker''(NS)アノテーションを用いた低リソース名前付きエンティティ認識(NER)モデル構築のための補完的アプローチを提案する。 NSアノテータの使用は、現代の文脈表現上に構築された言語間メソッドよりも、一貫した結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-17T03:24:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。