論文の概要: An Empirical Study of Factors Affecting Language-Independent Models

• arxiv url: http://arxiv.org/abs/1912.13106v1
• Date: Mon, 30 Dec 2019 22:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 02:07:27.544301
• Title: An Empirical Study of Factors Affecting Language-Independent Models
• Title（参考訳）: 言語非依存モデルに影響する要因に関する実証的研究
• Authors: Xiaotong Liu, Yingbei Tong, Anbang Xu, Rama Akkiraju
• Abstract要約: 言語に依存しないモデルは、モノリンガルデータを用いて訓練されたモデルに匹敵するか、さらに優れることを示す。 我々は,多くの異なる言語で言語に依存しないモデルを実験し,それらが類型的に類似した言語に適していることを示す。
• 参考スコア（独自算出の注目度）: 11.976665726887733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling existing applications and solutions to multiple human languages has traditionally proven to be difficult, mainly due to the language-dependent nature of preprocessing and feature engineering techniques employed in traditional approaches. In this work, we empirically investigate the factors affecting language-independent models built with multilingual representations, including task type, language set and data resource. On two most representative NLP tasks -- sentence classification and sequence labeling, we show that language-independent models can be comparable to or even outperforms the models trained using monolingual data, and they are generally more effective on sentence classification. We experiment language-independent models with many different languages and show that they are more suitable for typologically similar languages. We also explore the effects of different data sizes when training and testing language-independent models, and demonstrate that they are not only suitable for high-resource languages, but also very effective in low-resource languages.
• Abstract（参考訳）: 既存のアプリケーションやソリューションを複数のヒューマン言語にスケールすることは伝統的に困難であることが証明されている。 本研究では,タスクタイプ,言語セット,データリソースなど多言語表現を用いた言語非依存モデルに影響を及ぼす要因を実証的に検討する。 文分類とシーケンスラベリングの2つの代表的NLPタスクにおいて、言語に依存しないモデルは、単言語データを用いて訓練されたモデルに匹敵するか、さらに優れることを示す。 多くの異なる言語で言語に依存しないモデルを実験し、類型的に類似した言語に適していることを示す。 また,言語非依存モデルのトレーニングとテストにおけるデータサイズの違いの影響についても検討し,高リソース言語に適合するだけでなく,低リソース言語にも非常に有効であることを実証した。

関連論文リスト

• Investigating Language-Specific Calibration For Pruning Multilingual Large Language Models [11.421452042888523]
  多様な言語,タスク,モデル,および SotA プルーニング技術を用いて,多言語モデルをプルーニングするためのキャリブレーション言語を比較した。 例えば、ターゲット言語を校正することで、効率的に言語モデリング能力を維持することができるが、必ずしも下流タスクに利益をもたらすとは限らない。
  論文  参考訳（メタデータ） (2024-08-26T16:29:13Z)
• The Less the Merrier? Investigating Language Representation in Multilingual Models [8.632506864465501]
  多言語モデルにおける言語表現について検討する。 我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
  論文  参考訳（メタデータ） (2023-10-20T02:26:34Z)
• Exploring the Maze of Multilingual Modeling [2.0849578298972835]
  我々は,mBERT,XLM-R,GPT-3の3つの言語モデルについて総合評価を行った。 その結果,言語固有の事前学習データの量はモデル性能において重要な役割を担っているが,汎用リソースの可用性,言語ファミリ,スクリプトタイプといった他の要因も重要な特徴であることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T04:48:14Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Universal and Independent: Multilingual Probing Framework for Exhaustive Model Interpretation and Evaluation [0.04199844472131922]
  多数の言語を簡単に探索できるGUI支援フレームワークを提案し,適用した。 mBERTモデルで明らかになった規則性のほとんどは、西欧語で典型的である。 私たちのフレームワークは,既存のプローブツールボックスやモデルカード,リーダボードと統合することができます。
  論文  参考訳（メタデータ） (2022-10-24T13:41:17Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures [73.06435180872293]
  我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。 様々な言語型の特徴を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T21:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。