論文の概要: Local Structure Matters Most in Most Languages
- arxiv url: http://arxiv.org/abs/2211.05025v1
- Date: Wed, 9 Nov 2022 16:58:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 16:58:26.899000
- Title: Local Structure Matters Most in Most Languages
- Title（参考訳）: ほとんどの言語でローカル構造が最も重要である
- Authors: Louis Clou\^atre and Prasanna Parthasarathi and Amal Zouaq and Sarath
Chandar
- Abstract要約: 多言語環境における局所構造の重要性とグローバル構造の相対的不重要さに関する研究を再現する。
英語で観察される現象は、120以上の言語に広く翻訳されている。
- 参考スコア（独自算出の注目度）: 15.870989191524094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many recent perturbation studies have found unintuitive results on what does
and does not matter when performing Natural Language Understanding (NLU) tasks
in English. Coding properties, such as the order of words, can often be removed
through shuffling without impacting downstream performances. Such insight may
be used to direct future research into English NLP models. As many improvements
in multilingual settings consist of wholesale adaptation of English approaches,
it is important to verify whether those studies replicate or not in
multilingual settings. In this work, we replicate a study on the importance of
local structure, and the relative unimportance of global structure, in a
multilingual setting. We find that the phenomenon observed on the English
language broadly translates to over 120 languages, with a few caveats.
- Abstract（参考訳）: 近年の摂動研究の多くは、自然言語理解(NLU)タスクを英語で実行する際に何が重要で、何が重要でないかについて、直感的な結果を見出している。
単語の順序などの符号化特性は、下流のパフォーマンスに影響を与えることなくシャッフルによって取り除くことができる。
このような洞察は、将来の英語NLPモデルの研究に役立てることができる。
多言語設定における多くの改善は、英語のアプローチの包括的適応で構成されているため、これらの研究が多言語設定で複製されるか否かを検証することが重要である。
本研究では,局所構造の重要性とグローバル構造の重要性について,多言語環境下での再現を行った。
英語で見られる現象は、120以上の言語に広く翻訳され、いくつかの注意点がある。
関連論文リスト
- Investigating Language-Specific Calibration For Pruning Multilingual Large Language Models [11.421452042888523]
多様な言語,タスク,モデル,および SotA プルーニング技術を用いて,多言語モデルをプルーニングするためのキャリブレーション言語を比較した。
例えば、ターゲット言語を校正することで、効率的に言語モデリング能力を維持することができるが、必ずしも下流タスクに利益をもたらすとは限らない。
論文 参考訳（メタデータ） (2024-08-26T16:29:13Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳（メタデータ） (2024-06-28T17:03:51Z) - Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。
この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。
深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
論文 参考訳（メタデータ） (2024-03-15T12:47:39Z) - Decomposed Prompting: Unveiling Multilingual Linguistic Structure
Knowledge in English-Centric Large Language Models [12.700783525558721]
GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。
本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
論文 参考訳（メタデータ） (2024-02-28T15:15:39Z) - Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed? [40.13166574854085]
英語中心の大規模言語モデルにおいて,多言語間の一般化を実現するために必要な最小限の多言語性について検討する。
複数言語から3言語までの多言語命令チューニングは,効果的な言語間一般化を実現するのに必要かつ十分であることがわかった。
論文 参考訳（メタデータ） (2023-12-20T00:49:52Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳（メタデータ） (2023-10-23T17:42:01Z) - Multilingual BERT has an accent: Evaluating English influences on
fluency in multilingual models [23.62852626011989]
我々は,高次情報源言語における文法構造が低次情報源言語に肥大化したことを示す。
このバイアスは、多言語モデルの流布度とモノリンガルのスペイン語とギリシア語のモデルの流布度を比較する新しい方法によって示される。
論文 参考訳（メタデータ） (2022-10-11T17:06:38Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer [3.299672391663527]
我々は、最先端の多言語モデルを分析し、言語間の良い伝達に何が影響するかを判断する。
また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2～4倍有益であることを示す。
論文 参考訳（メタデータ） (2021-05-12T21:22:58Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。