Fugu-MT 論文翻訳(概要): Identifying the Correlation Between Language Distance and Cross-Lingual Transfer in a Multilingual Representation Space

論文の概要: Identifying the Correlation Between Language Distance and Cross-Lingual Transfer in a Multilingual Representation Space

arxiv url: http://arxiv.org/abs/2305.02151v1
Date: Wed, 3 May 2023 14:33:23 GMT
ステータス: 処理完了
システム内更新日: 2023-05-04 14:36:16.004525
Title: Identifying the Correlation Between Language Distance and Cross-Lingual Transfer in a Multilingual Representation Space
Title（参考訳）: 多言語表現空間における言語距離と言語間移動の関係の同定
Authors: Fred Philippy, Siwen Guo, Shohreh Haddadan
Abstract要約: 本研究では,MLLMが生成する各言語表現空間の絶対的進化について検討する。本稿では,言語的特徴の役割に特に重点を置いて,表現空間への影響と言語間移動性能との関連について検討する。
参考スコア（独自算出の注目度）: 2.578242050187029
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Prior research has investigated the impact of various linguistic features on cross-lingual transfer performance. In this study, we investigate the manner in which this effect can be mapped onto the representation space. While past studies have focused on the impact on cross-lingual alignment in multilingual language models during fine-tuning, this study examines the absolute evolution of the respective language representation spaces produced by MLLMs. We place a specific emphasis on the role of linguistic characteristics and investigate their inter-correlation with the impact on representation spaces and cross-lingual transfer performance. Additionally, this paper provides preliminary evidence of how these findings can be leveraged to enhance transfer to linguistically distant languages.
Abstract（参考訳）: 先行研究は、言語的特徴が言語間伝達性能に与える影響を調査した。本研究では,この効果を表現空間にマッピングする方法を検討する。過去の研究は、微調整中の多言語モデルにおける言語間アライメントの影響に焦点を当ててきたが、MLLMによって生成された言語表現空間の絶対的な進化について検討した。言語特性の役割を特に強調し,それらの相互関係が表現空間と言語間伝達性能に与える影響について検討する。さらに,言語的に離れた言語への移動を促進するために,これらの知見をどのように活用できるかを予備的な証拠として提示する。

関連論文リスト

ShifCon: Enhancing Non-Dominant Language Capabilities with a Shift-based Contrastive Framework [79.72910257530795]
ShifConはShiftベースのContrastiveフレームワークで、他の言語の内部の前進プロセスを支配的な言語に合わせる。非支配的な言語の表現を支配的な言語サブスペースに移行し、モデルパラメータにエンコードされた比較的リッチな情報にアクセスできるようにする。実験により、我々のShifConフレームワークは、非支配言語の性能を大幅に向上させることが示された。
論文参考訳（メタデータ） (2024-10-25T10:28:59Z)
Assessing the Role of Lexical Semantics in Cross-lingual Transfer through Controlled Manipulations [15.194196775504613]
我々は、英語と対象言語の違いが、英語の事前訓練された表現空間と言語を整合させる能力にどのように影響するかを分析する。文字や単語の順序などの特性はアライメント品質に限られた影響しか与えないが、翻訳エントロピーの尺度を用いて定義する2言語間の語彙マッチングの程度は、それに大きな影響を及ぼすことを示す。
論文参考訳（メタデータ） (2024-08-14T14:59:20Z)
Understanding Cross-Lingual Alignment -- A Survey [52.572071017877704]
言語間アライメントは多言語言語モデルにおける言語間の表現の有意義な類似性である。本研究は,言語間アライメントの向上,手法の分類,分野全体からの洞察の要約といった手法の文献を調査する。
論文参考訳（メタデータ） (2024-04-09T11:39:53Z)
Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning? [8.630930380973489]
本稿では,機械翻訳を言語表現学習の強化を目的とした継続的な学習目的として活用する可能性について検討する。この結果から,機械翻訳の継続学習が言語間表現学習の強化に失敗することが明らかとなった。言語横断シナリオにおける明示的な文レベルのアライメントは、言語間移動事前学習に有害である、と結論付けた。
論文参考訳（メタデータ） (2024-03-25T13:53:04Z)
Mitigating the Linguistic Gap with Phonemic Representations for Robust Cross-lingual Transfer [26.014079273740485]
多言語理解の改善へのアプローチは、高リソース言語と低リソース言語の間の大きなパフォーマンスギャップに悩まされることが多い。本研究は,12言語を対象とした3つの言語間タスクに関する実験である。音韻表現は、正書法表現と比較して言語間の類似性が高い。
論文参考訳（メタデータ） (2024-02-22T04:41:52Z)
Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文参考訳（メタデータ） (2023-10-23T17:42:01Z)
Relationship of the language distance to English ability of a country [0.0]
本稿では,言語間の意味的相違を測る新しい手法を提案する。提案するセマンティック言語距離の有効性を実証的に検討する。実験の結果, 言語距離は, 国の平均英語能力に負の影響を及ぼすことが示された。
論文参考訳（メタデータ） (2022-11-15T02:40:00Z)
Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文参考訳（メタデータ） (2022-03-16T07:09:35Z)
When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer [15.578267998149743]
サブワード重複の欠如は,言語が単語順に異なる場合,ゼロショット転送に大きく影響することを示す。言語間の伝達性能と単語埋め込みアライメントの間には強い相関関係がある。その結果、言語間の単語埋め込みアライメントを明示的に改善する多言語モデルに焦点が当てられた。
論文参考訳（メタデータ） (2021-10-27T21:25:39Z)
A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文参考訳（メタデータ） (2021-09-13T21:05:37Z)
Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。