論文の概要: The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation

• arxiv url: http://arxiv.org/abs/2505.13090v1
• Date: Mon, 19 May 2025 13:24:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.610926
• Title: The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation
• Title（参考訳）: 翻訳用大規模言語モデルの微調整における言語多様性の影響
• Authors: David Stap, Christof Monz,
• Abstract要約: 微調整中の言語多様性の拡大は、教師なしと -- 驚くほど -- 教師なしのペアの両方の翻訳品質を改善する。 言語多様性の増大が言語に依存しない表現を生み出すことを示す。
• 参考スコア（独自算出の注目度）: 5.108635348039592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior research diverges on language diversity in LLM fine-tuning: Some studies report benefits while others find no advantages. Through controlled fine-tuning experiments across 132 translation directions, we systematically resolve these disparities. We find that expanding language diversity during fine-tuning improves translation quality for both unsupervised and -- surprisingly -- supervised pairs, despite less diverse models being fine-tuned exclusively on these supervised pairs. However, benefits plateau or decrease beyond a certain diversity threshold. We show that increased language diversity creates more language-agnostic representations. These representational adaptations help explain the improved performance in models fine-tuned with greater diversity.
• Abstract（参考訳）: LLMファインチューニングにおける言語多様性に関する先行研究: メリットを報告している研究もあるが、メリットは見つからない研究もある。 132の翻訳方向を制御した微調整実験により,これらの相違を系統的に解決する。 微調整中の言語多様性の拡大は、教師なしペアと、驚くべきことに教師なしペアの両方の翻訳品質を改善する。 しかし、一定の多様性しきい値を超えた高原や減少の恩恵を受ける。 言語多様性の増大が言語に依存しない表現を生み出すことを示す。 これらの表現適応は、より多様性のある微調整されたモデルにおける改善された性能を説明するのに役立つ。

関連論文リスト

• ShifCon: Enhancing Non-Dominant Language Capabilities with a Shift-based Contrastive Framework [78.07201802874529]
  ShifConはShiftベースのContrastiveフレームワークで、他の言語の内部の前進プロセスを支配的な言語に合わせる。 非支配的な言語の表現を支配的な言語サブスペースに移行し、モデルパラメータにエンコードされた比較的リッチな情報にアクセスできるようにする。 実験により、我々のShifConフレームワークは、非支配言語の性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-25T10:28:59Z)
• Quantifying the Gaps Between Translation and Native Perception in Training for Multimodal, Multilingual Retrieval [28.589035749529955]
  我々は、ドイツ原住民の認識から生まれたキャプションのトレーニングと、機械翻訳または人間翻訳されたキャプションと、英語からドイツ語に翻訳されたキャプションの間に、パフォーマンスのギャップを経験的に示す。 平均的なリコール改善(+1.3)を達成する一方で、ギャップは依然として残っており、コミュニティの将来的な作業のオープンな領域を示している。
  論文  参考訳（メタデータ） (2024-10-02T20:47:53Z)
• Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation [9.838281446902268]
  我々は2次元の補助的対象側言語を変化させる大規模研究を行う。 言語的に類似したターゲット言語は、肯定的な知識を伝達する強い能力を示す。 類似のターゲット言語のサイズが大きくなると、前向きな変換が強化され、主要な言語ペアにメリットがもたらされる。 一方、遠方の補助的対象言語は、最小限の正の転送能力を持ちながら、予期せずメイン言語ペアの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2024-02-01T10:55:03Z)
• Exploring Diversity in Back Translation for Low-Resource Machine Translation [85.03257601325183]
  バックトランスフォーメーションは、ニューラルマシントランスフォーメーションシステムの性能を改善するために最も広く使われている手法の1つである。 近年の研究では、生成された翻訳の「多様性」を増大させることにより、この手法の有効性を高めることを目指している。 この研究は、トレーニングデータの多様性を理解し、それを語彙的多様性と構文的多様性に分割する、より微妙なフレームワークを推し進めている。
  論文  参考訳（メタデータ） (2022-06-01T15:21:16Z)
• An Isotropy Analysis in the Multilingual BERT Embedding Space [18.490856440975996]
  BERTの多言語文脈表現(CWR)における表現劣化問題について検討する。 その結果,多言語埋め込み空間の等方性の向上は,表現力や性能を著しく向上させることが示唆された。 分析の結果, 生成方向は言語によって異なるが, 類似した言語知識を符号化し, 言語間の共通言語空間を示唆している。
  論文  参考訳（メタデータ） (2021-10-09T08:29:49Z)
• On the Language-specificity of Multilingual BERT and the Impact of Fine-tuning [7.493779672689531]
  multilingual BERT (mBERT) が獲得した知識は、言語固有のものと言語ニュートラルな2つのコンポーネントを持っている。 本稿では,2つのタスクの微調整の文脈において,それらの関係を解析する。
  論文  参考訳（メタデータ） (2021-09-14T19:28:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。