論文の概要: Local Structure Matters Most in Most Languages
- arxiv url: http://arxiv.org/abs/2211.05025v1
- Date: Wed, 9 Nov 2022 16:58:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 16:58:26.899000
- Title: Local Structure Matters Most in Most Languages
- Title(参考訳): ほとんどの言語でローカル構造が最も重要である
- Authors: Louis Clou\^atre and Prasanna Parthasarathi and Amal Zouaq and Sarath
Chandar
- Abstract要約: 多言語環境における局所構造の重要性とグローバル構造の相対的不重要さに関する研究を再現する。
英語で観察される現象は、120以上の言語に広く翻訳されている。
- 参考スコア(独自算出の注目度): 15.870989191524094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many recent perturbation studies have found unintuitive results on what does
and does not matter when performing Natural Language Understanding (NLU) tasks
in English. Coding properties, such as the order of words, can often be removed
through shuffling without impacting downstream performances. Such insight may
be used to direct future research into English NLP models. As many improvements
in multilingual settings consist of wholesale adaptation of English approaches,
it is important to verify whether those studies replicate or not in
multilingual settings. In this work, we replicate a study on the importance of
local structure, and the relative unimportance of global structure, in a
multilingual setting. We find that the phenomenon observed on the English
language broadly translates to over 120 languages, with a few caveats.
- Abstract(参考訳): 近年の摂動研究の多くは、自然言語理解(NLU)タスクを英語で実行する際に何が重要で、何が重要でないかについて、直感的な結果を見出している。
単語の順序などの符号化特性は、下流のパフォーマンスに影響を与えることなくシャッフルによって取り除くことができる。
このような洞察は、将来の英語NLPモデルの研究に役立てることができる。
多言語設定における多くの改善は、英語のアプローチの包括的適応で構成されているため、これらの研究が多言語設定で複製されるか否かを検証することが重要である。
本研究では,局所構造の重要性とグローバル構造の重要性について,多言語環境下での再現を行った。
英語で見られる現象は、120以上の言語に広く翻訳され、いくつかの注意点がある。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Decomposed Prompting: Unveiling Multilingual Linguistic Structure
Knowledge in English-Centric Large Language Models [12.700783525558721]
GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。
本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T15:15:39Z) - What Linguistic Features and Languages are Important in LLM Translation? [4.888605304379589]
7BのLlama2モデルは、これまでに見たすべての言語に対して10 BLEUスコアを超える。
構文的類似性は、翻訳品質を決定する上で、必ずしも主要な言語要因ではない。
一部の言語は、英語よりも訓練データが少ないにもかかわらず、英語に匹敵する強い相関関係を示している。
論文 参考訳(メタデータ) (2024-02-21T16:32:38Z) - Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is
Needed? [45.10397051167781]
非英語設定で適切なパフォーマンスを達成するためには、言語間転送が重要である。
英語のみの微調整と比較すると、3つの言語での多言語指導はモデルの言語間変換能力を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-12-20T00:49:52Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳(メタデータ) (2023-10-23T17:42:01Z) - Multilingual BERT has an accent: Evaluating English influences on
fluency in multilingual models [23.62852626011989]
我々は,高次情報源言語における文法構造が低次情報源言語に肥大化したことを示す。
このバイアスは、多言語モデルの流布度とモノリンガルのスペイン語とギリシア語のモデルの流布度を比較する新しい方法によって示される。
論文 参考訳(メタデータ) (2022-10-11T17:06:38Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-05-24T03:35:00Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-17T20:23:45Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳(メタデータ) (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。