論文の概要: LinguAlchemy: Fusing Typological and Geographical Elements for Unseen Language Generalization

• arxiv url: http://arxiv.org/abs/2401.06034v1
• Date: Thu, 11 Jan 2024 16:48:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 13:45:59.876314
• Title: LinguAlchemy: Fusing Typological and Geographical Elements for Unseen Language Generalization
• Title（参考訳）: lingualchemy:unseen言語一般化のための類型的および地理的要素の使用
• Authors: Muhammad Farid Adilazuarda, Samuel Cahyawijaya, Alham Fikri Aji, Genta Indra Winata, Ayu Purwarianti
• Abstract要約: LinguAlchemy(リング・アルケミー)は、タイプ的、地理的、系統学的にPLMの表現を制約する言語の様々な側面を包含する正規化手法である。 本稿では,言語正規化重みを自動的に調整するLinguAlchemyの拡張であるAlchemyScaleとAlchemyTuneを紹介する。
• 参考スコア（独自算出の注目度）: 37.684429378696215
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pretrained language models (PLMs) have shown remarkable generalization toward multiple tasks and languages. Nonetheless, the generalization of PLMs towards unseen languages is poor, resulting in significantly worse language performance, or even generating nonsensical responses that are comparable to a random baseline. This limitation has been a longstanding problem of PLMs raising the problem of diversity and equal access to language modeling technology. In this work, we solve this limitation by introducing LinguAlchemy, a regularization technique that incorporates various aspects of languages covering typological, geographical, and phylogenetic constraining the resulting representation of PLMs to better characterize the corresponding linguistics constraints. LinguAlchemy significantly improves the accuracy performance of mBERT and XLM-R on unseen languages by ~18% and ~2%, respectively compared to fully finetuned models and displaying a high degree of unseen language generalization. We further introduce AlchemyScale and AlchemyTune, extension of LinguAlchemy which adjusts the linguistic regularization weights automatically, alleviating the need for hyperparameter search. LinguAlchemy enables better cross-lingual generalization to unseen languages which is vital for better inclusivity and accessibility of PLMs.
• Abstract（参考訳）: 事前訓練言語モデル(PLM)は、複数のタスクや言語に対する顕著な一般化を示している。 それでも、PLMの未確認言語への一般化は貧弱であり、言語性能は著しく悪化し、ランダムなベースラインに匹敵する非感覚的な応答も生成する。 この制限はplmの長年の問題であり、多様性と言語モデリング技術への平等なアクセスの問題を提起している。 そこで本研究では,plmの表現を定型的,地理的,系統的に制約し,対応する言語的制約をよりよく特徴付けるための多面的言語を包含する正規化手法であるlingualchemyを導入することで,この制限を解消する。 LinguAlchemyは、完全に微調整されたモデルと比較して、mBERT と XLM-R の未確認言語での精度を ~18% と ~2% に向上させる。 さらに,言語規則化の重み付けを自動的に調整するLinguAlchemyの拡張であるAlchemyScaleとAlchemyTuneを導入し,ハイパーパラメータ検索の必要性を軽減する。 LinguAlchemyは、PLMのより優れたアクセシビリティとアクセシビリティのために欠かせない言語に対して、より優れた言語間一般化を可能にする。

関連論文リスト

• Evaluating Morphological Compositional Generalization in Large Language Models [17.507983593566223]
  大規模言語モデル (LLM) の形態的一般化能力について, 構成性のレンズによる検討を行った。 我々はトルコ語やフィンランド語などの凝集言語に焦点を当てている。 解析の結果,LLMは特に新規語根に適用する場合,形態的構成一般化に苦慮していることが明らかとなった。 モデルは偶然よりも個々の形態的組み合わせを識別できるが、その性能は体系性に欠けており、人間に比べてかなりの精度の差が生じる。
  論文  参考訳（メタデータ） (2024-10-16T15:17:20Z)
• Interpretability of Language Models via Task Spaces [14.543168558734001]
  本稿では,解釈言語モデル (LM) の代替手法を提案する。 我々は、LM処理の品質に焦点を合わせ、言語能力に焦点をあてる。 言語現象間の関係を照らす「言語的タスク空間」を構築した。
  論文  参考訳（メタデータ） (2024-06-10T16:34:30Z)
• Probing LLMs for Joint Encoding of Linguistic Categories [10.988109020181563]
  大規模言語モデル(LLM)における言語カテゴリーの合同符号化をテストするためのフレームワークを提案する。 関連音声(POS)クラスと異なる(POSクラスと関連する構文依存関係)言語階層の双方で共同符号化の証拠を見いだした。
  論文  参考訳（メタデータ） (2023-10-28T12:46:40Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Language Embeddings Sometimes Contain Typological Generalizations [0.0]
  我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。 学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。 いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
  論文  参考訳（メタデータ） (2023-01-19T15:09:59Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures [73.06435180872293]
  我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。 様々な言語型の特徴を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T21:00:53Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Cross-lingual, Character-Level Neural Morphological Tagging [57.0020906265213]
  文字レベルのリカレントなニューラルタグをトレーニングし、高リソース言語と低リソース言語を併用して形態的タグ付けを予測する。 複数の関連言語間の共同文字表現の学習は、高リソース言語から低リソース言語への知識伝達を成功させ、モノリンガルモデルの精度を最大30%向上させる。
  論文  参考訳（メタデータ） (2017-08-30T08:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。