論文の概要: Information Loss in LLMs' Multilingual Translation: The Role of Training Data, Language Proximity, and Language Family

• arxiv url: http://arxiv.org/abs/2506.23340v1
• Date: Sun, 29 Jun 2025 17:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.83647
• Title: Information Loss in LLMs' Multilingual Translation: The Role of Training Data, Language Proximity, and Language Family
• Title（参考訳）: LLMの多言語翻訳における情報損失--学習データ,言語親和性,言語家族の役割
• Authors: Yumeng Lin, Xufeng Duan, David Haslett, Yige Chen, Zhenguang G. Cai,
• Abstract要約: 本研究は,多言語翻訳における学習データ,言語親和性,言語族が情報損失に与える影響を系統的に検討する。 GPT-4とLlama 2の2つの大言語モデルについて,ラウンドトリップ翻訳により評価した。
• 参考スコア（独自算出の注目度）: 0.9422186097220215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have achieved impressive progress in multilingual translation, yet they continue to face challenges with certain language pairs-particularly those with limited training data or significant linguistic divergence from English. This study systematically investigates how training data, language proximity, and language family affect information loss in multilingual translation. We evaluate two large language models, GPT-4 and Llama 2, by performing round-trip translations. Translation quality was assessed using BLEU scores and BERT similarity metrics. Our results reveal a robust interaction between training data size and language distance: while abundant training data can mitigate the effects of linguistic divergence, languages structurally closer to English consistently yield higher translation quality in low-resource conditions. Among various distance metrics, orthographic, phylogenetic, syntactic, and geographical distances emerge as strong predictors of translation performance. Language family also exerts an independent influence. These findings contribute to a deeper understanding of the linguistic constraints shaping multilingual translation in large language models, emphasizing that translation quality is shaped not only by data volume but also by structural and typological relationships between languages.
• Abstract（参考訳）: 大規模な言語モデルは多言語翻訳において目覚ましい進歩を遂げてきたが、特定の言語ペア(特に訓練データに制限があるものや、英語からのかなりの言語的分岐があるもの)で課題に直面し続けている。 本研究は,多言語翻訳における学習データ,言語親和性,言語族が情報損失に与える影響を系統的に検討する。 GPT-4とLlama 2の2つの大言語モデルについて,ラウンドトリップ翻訳により評価した。 BLEUスコアとBERT類似度指標を用いて翻訳品質を評価した。 その結果,学習データの大きさと言語距離との堅牢な相互作用が明らかとなった。豊富な学習データによって言語的分岐の影響が軽減される一方で,構造的に英語に近い言語は低リソース条件下では高い翻訳品質が得られることがわかった。 様々な距離指標のうち、正書法、系統学、構文学、地理的距離は翻訳性能の強い予測因子として現れる。 言語家も独立した影響力を持っている。 これらの知見は, 言語モデルにおける多言語翻訳を形作る言語制約の理解に寄与し, 翻訳品質はデータボリュームだけでなく, 言語間の構造的・類型的関係によっても形成されていることを強調した。

関連論文リスト

• Cross-Linguistic Transfer in Multilingual NLP: The Role of Language Families and Morphology [0.0]
  言語間移動は多言語NLPの重要な側面となっている。 本稿では,言語科と形態学のレンズによる言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-20T04:19:34Z)
• A Comparative Study of Translation Bias and Accuracy in Multilingual Large Language Models for Cross-Language Claim Verification [1.566834021297545]
  本研究は,言語間クレーム検証における翻訳バイアスと大規模言語モデルの有効性を体系的に評価する。 本稿では,事前翻訳と自己翻訳の2つの異なる翻訳手法について検討する。 その結果,低リソース言語では表現不足による直接推論の精度が著しく低いことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-14T09:02:42Z)
• Could We Have Had Better Multilingual LLMs If English Was Not the Central Language? [4.655168524016426]
  大規模言語モデル(LLM)は、トレーニング対象の言語に対して強力な機械翻訳能力を示す。 我々の研究は、Llama2の翻訳能力について論じている。 実験の結果,7B Llama2モデルはこれまでに見たすべての言語に翻訳すると10 BLEU以上になることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T16:32:38Z)
• Towards a Deep Understanding of Multilingual End-to-End Speech Translation [52.26739715012842]
  我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。 我々は分析から3つの大きな発見を得た。
  論文  参考訳（メタデータ） (2023-10-31T13:50:55Z)
• GradSim: Gradient-Based Language Grouping for Effective Multilingual Training [13.730907708289331]
  勾配類似度に基づく言語グループ化手法GradSimを提案する。 3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。 言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-10-23T18:13:37Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)
• Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
  一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
  論文  参考訳（メタデータ） (2022-04-17T23:56:54Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。