論文の概要: Clustering Pseudo Language Family in Multilingual Translation Models
with Fisher Information Matrix
- arxiv url: http://arxiv.org/abs/2312.02820v1
- Date: Tue, 5 Dec 2023 15:03:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 15:20:37.825541
- Title: Clustering Pseudo Language Family in Multilingual Translation Models
with Fisher Information Matrix
- Title(参考訳): fisher information matrixを用いた多言語翻訳モデルにおける疑似言語ファミリーのクラスタリング
- Authors: Xinyu Ma and Xuebo Liu and Min Zhang
- Abstract要約: 祖先のみに基づくクラスタリング言語は、最適な結果をもたらすことができる。
本稿では,漁船情報行列(FIM)をクラスタリング言語ファミリーに活用する革新的な手法を提案する。
我々は、これらの擬似言語ファミリーの創始と応用について、深く議論する。
- 参考スコア(独自算出の注目度): 22.891944602891428
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In multilingual translation research, the comprehension and utilization of
language families are of paramount importance. Nevertheless, clustering
languages based solely on their ancestral families can yield suboptimal results
due to variations in the datasets employed during the model's training phase.
To mitigate this challenge, we introduce an innovative method that leverages
the fisher information matrix (FIM) to cluster language families, anchored on
the multilingual translation model's characteristics. We hypothesize that
language pairs with similar effects on model parameters exhibit a considerable
degree of linguistic congruence and should thus be grouped cohesively. This
concept has led us to define pseudo language families. We provide an in-depth
discussion regarding the inception and application of these pseudo language
families. Empirical evaluations reveal that employing these pseudo language
families enhances performance over conventional language families in adapting a
multilingual translation model to unfamiliar language pairs. The proposed
methodology may also be extended to scenarios requiring language similarity
measurements. The source code and associated scripts can be accessed at
https://github.com/ecoli-hit/PseudoFamily.
- Abstract(参考訳): 多言語翻訳研究においては、言語家族の理解と利用が最重要である。
それでも、先祖の家系のみに基づくクラスタリング言語は、モデルのトレーニングフェーズで使用されるデータセットのバリエーションによって、最適以下の結果が得られる。
この課題を軽減するために,多言語翻訳モデルの特徴を基盤として,魚情報行列(FIM)をクラスタ言語ファミリーに活用する革新的な手法を提案する。
モデルパラメータに類似した影響を持つ言語対は、かなりの言語的一致を示し、結束的にグループ化されるべきである。
この概念は擬似言語ファミリーの定義につながった。
我々は、これらの擬似言語ファミリーの創始と応用について、深く議論する。
経験的評価により、これらの擬似言語ファミリを使うことは、不慣れな言語ペアに多言語翻訳モデルを適用することで、従来の言語ファミリよりもパフォーマンスが向上することが明らかになった。
提案手法は言語類似度測定を必要とするシナリオにも拡張できる。
ソースコードと関連するスクリプトはhttps://github.com/ecoli-hit/PseudoFamilyでアクセスできる。
関連論文リスト
- Scaling Laws for Multilingual Language Models [41.6318470003173]
多言語スケーリングの研究における主要な課題は、言語間移動による個々の言語性能の分析が困難であることである。
本稿では,各言語群に対するクロスエントロピー損失が,それぞれのサンプリング比でのみ決定されるという仮説を導入し,検証する。
性能とデータセットサイズ,モデルサイズ,サンプリング比率を関連づける,ゆるい関係を導出する。
論文 参考訳(メタデータ) (2024-10-15T20:29:38Z) - Phylogeny-Inspired Adaptation of Multilingual Models to New Languages [43.62238334380897]
我々は、言語系統情報を用いて、密接に関連する言語を活用する言語間移動を改善する方法を示す。
我々は,多言語(ゲルマン語,ウルリック語,トゥピ語,ウト・アステカン語)の言語をアダプタベースで学習し,構文的・意味的タスクの評価を行う。
論文 参考訳(メタデータ) (2022-05-19T15:49:19Z) - A Massively Multilingual Analysis of Cross-linguality in Shared
Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。
我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。
我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文 参考訳(メタデータ) (2021-09-13T21:05:37Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - Probing Multilingual Language Models for Discourse [0.0]
XLM-RoBERTaファミリーのモデルが常に最高のパフォーマンスを示していることが分かりました。
また, モデル蒸留は, 文表現の言語間移動能力に悪影響を及ぼす可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-09T06:34:21Z) - Automatically Identifying Language Family from Acoustic Examples in Low
Resource Scenarios [48.57072884674938]
ディープラーニングを用いて言語類似性を解析する手法を提案する。
すなわち、Willernessデータセットのモデルをトレーニングし、その潜在空間が古典的な言語家族の発見とどのように比較されるかを調べる。
論文 参考訳(メタデータ) (2020-12-01T22:44:42Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳(メタデータ) (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。