論文の概要: Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs

• arxiv url: http://arxiv.org/abs/2504.09378v2
• Date: Tue, 15 Apr 2025 11:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:41.125505
• Title: Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs
• Title（参考訳）: 英語にマップできるか? LLMの多言語的性能における言語横断的アライメントの役割
• Authors: Kartik Ravisankar, Hyojung Han, Marine Carpuat,
• Abstract要約: 大きな言語モデル (LLMs) は英語のテキストに基づいて事前訓練されており、驚くべき多言語機能を示している。 識別タスクのインスタンスレベルでのアライメントを定量化するために、言語間アライメントメトリクスを導入します。 言語間アライメントの指標は言語レベルでのタスク精度と強く相関するが,サンプルレベルのアライメントは誤予測と正しく区別できないことが多い。
• 参考スコア（独自算出の注目度）: 12.334510055293535
• License:
• Abstract: Large language models (LLMs) pre-trained predominantly on English text exhibit surprising multilingual capabilities, yet the mechanisms driving cross-lingual generalization remain poorly understood. This work investigates how the alignment of representations for text written in different languages correlates with LLM performance on natural language understanding tasks and translation tasks, both at the language and the instance level. For this purpose, we introduce cross-lingual alignment metrics such as the Discriminative Alignment Index (DALI) to quantify the alignment at an instance level for discriminative tasks. Through experiments on three natural language understanding tasks (Belebele, XStoryCloze, XCOPA), and machine translation, we find that while cross-lingual alignment metrics strongly correlate with task accuracy at the language level, the sample-level alignment often fails to distinguish correct from incorrect predictions, exposing alignment as a necessary but insufficient condition for success.
• Abstract（参考訳）: 大言語モデル (LLM) は主に英語のテキストで事前訓練され、驚くべき多言語機能を示すが、言語間一般化のメカニズムはいまだに理解されていない。 本研究では,異なる言語で書かれたテキストの表現のアライメントが,自然言語理解タスクや翻訳タスクにおいてLLMのパフォーマンスとどのように相関するかを,言語レベルとインスタンスレベルの両方で検討する。 この目的のために、識別的タスクのインスタンスレベルでのアライメントを定量化するために、識別的アライメント指標(DALI)のような言語間アライメント指標を導入する。 3つの自然言語理解タスク(Belebele, XStoryCloze, XCOPA)と機械翻訳の実験により,言語レベルでの言語間アライメントの指標がタスクの精度と強く相関していることが判明した。

関連論文リスト

• Middle-Layer Representation Alignment for Cross-Lingual Transfer in Fine-Tuned LLMs [20.756383171892608]
  中層は言語間アライメントの可能性が強い。 スロットフィリング、機械翻訳、構造化テキスト生成の実験は、言語間転送における一貫した改善を示している。 我々は、個別に訓練されたアライメントモジュールを既存のタスク固有のモジュールとマージすることができ、完全に再トレーニングすることなく言語間の機能を改善することを示す。
  論文  参考訳（メタデータ） (2025-02-20T18:45:43Z)
• Empowering Cross-lingual Abilities of Instruction-tuned Large Language Models by Translation-following demonstrations [0.8133739801185272]
  We propose CrossAlpaca, a It-LLM with cross-lingual instruction-following and translation-following demonstrations。 我々のモデルは、6つの異なる言語でテストされ、単言語データで調整された It-LLM よりも優れています。
  論文  参考訳（メタデータ） (2023-08-27T19:22:12Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。