論文の概要: Cross-Lingual Representation Alignment by Token-Level Optimal Transport in a Language-Agnostic Space

• arxiv url: http://arxiv.org/abs/2609.06381v1
• Date: Sun, 06 Sep 2026 04:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 05:50:45.97631
• Title: Cross-Lingual Representation Alignment by Token-Level Optimal Transport in a Language-Agnostic Space
• Title（参考訳）: 言語非依存空間におけるToken-Level Optimal Transportによる言語間表現アライメント
• Abstract要約: 言語間アライメント(CLA)は、言語間で大きな言語モデル(LLM)の表現を調整することを目的としている。 従来のCLA手法は、表現に符号化された言語固有の情報を無視し、文レベルのアライメントのみを考慮する。 本稿では,LLMの内部状態における言語固有表現の同定と,トークンレベルでの言語非依存表現の整合化という2つのステップからなるCAROTを提案する。
• 参考スコア（独自算出の注目度）: 34.65197313327234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-lingual alignment (CLA) aims to align the representations of large language models (LLMs) across languages, enabling cross-lingual transfer to improve multilingual capabilities. Previous CLA methods often ignore language-specific information encoded in representations and only consider sentence-level alignment, which may lead to suboptimal performance and input-output language mismatch. We propose CAROT (Cross-Lingual Alignment of Representations in a Language-Agnostic Space via Optimal Transport), which consists of two steps: identifying language-specific representations in LLMs' internal states and aligning language-agnostic representations across languages at the token level by optimal transport, while explicitly preserving language-specific representations. Inference-time steering experiments show that the representations computed by CAROT are effective alignment targets, improving multilingual performance by up to 11.2 points in accuracy while maintaining input-output language consistency. We further use the representations obtained by CAROT as training targets, internalizing the aligned representations. The trained models outperform existing CLA methods in 11 of 18 evaluation settings (3 models $\times$ 3 tasks $\times$ ID/OOD languages). Our work provides insights into what constitutes effective alignment targets for CLA in LLMs. Code is available at https://github.com/ynklab/CAROT
• Abstract（参考訳）: 言語間アライメント(CLA)は、言語間の大きな言語モデル(LLM)の表現を整合させることを目的としており、多言語機能を改善するために言語間トランスファーを可能にする。 従来のCLA手法では、表現に符号化された言語固有の情報を無視し、文レベルのアライメントのみを考慮することが多かった。 CAROT(Cross-Lingual Alignment of Representations in a Language-Agnostic Space in a Language-Agnostic Space via Optimal Transport)は,LLMの内部状態における言語固有の表現の同定と,トークンレベルでの言語間の言語非依存表現の整列という2つのステップから構成される。 推論時ステアリング実験は、CAROTによって計算された表現が効果的なアライメント対象であることを示し、入力出力言語一貫性を維持しながら、最大11.2ポイントの精度で多言語性能を向上させる。 さらに、CAROTによって得られた表現をトレーニングターゲットとして使用し、アライメントされた表現を内部化する。 トレーニングされたモデルは、既存のCLAメソッドよりも優れた18評価設定(3モデル$\times$3タスク$\times$ID/OOD言語)である。 我々の研究は、LCMにおけるCLAの効果的なアライメントターゲットを構成するものについての洞察を提供する。 コードはhttps://github.com/ynklab/CAROTで入手できる。

関連論文リスト

• Bilingual Text-to-Motion Generation: A New Benchmark and Baselines [52.71312720094036]
  LLMアノテーションと厳密な手動修正によって構築されたバイリンガルテキスト・モーション・ベンチマークであるBiHumanML3Dを紹介する。 また,CLA(Cross-Lingual Alignment)を用いたバイリンガルモーション拡散合成(BiMD)を提案する。 CLA を用いた BiMD は 0.045 対 0.169 対 R@3 対 80.8% の FID を達成し、単言語拡散モデルと BiHumanML3D の翻訳ベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-03-26T08:48:27Z)
• Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders [51.380449540006985]
  大規模言語モデル(LLM)は多くの言語を処理できるが、どのようにして内部的にこの多様性を表現しているのかは不明だ。 言語固有のデコーディングと多言語表現を共有できるのでしょうか? 層間トランスコーダ(CLT)と属性グラフを用いて内部メカニズムを解析する。
  論文  参考訳（メタデータ） (2025-11-13T22:51:06Z)
• Language Surgery in Multilingual Large Language Models [39.66404344691661]
  大規模言語モデル(LLM)はタスクや言語にまたがる顕著な一般化機能を示している。 本稿では, LLMにおける自然に出現する表現アライメント, 特に中層における表現アライメントについて検討する。 Inference-Time Language Control (ITLC) を提案する。
  論文  参考訳（メタデータ） (2025-06-14T11:09:50Z)
• Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs [12.334510055293535]
  大きな言語モデル (LLMs) は英語のテキストに基づいて事前訓練されており、驚くべき多言語機能を示している。 識別タスクのインスタンスレベルでのアライメントを定量化するために、言語間アライメントメトリクスを導入します。 言語間アライメントの指標は言語レベルでのタスク精度と強く相関するが,サンプルレベルのアライメントは誤予測と正しく区別できないことが多い。
  論文  参考訳（メタデータ） (2025-04-13T00:01:22Z)
• Middle-Layer Representation Alignment for Cross-Lingual Transfer in Fine-Tuned LLMs [20.756383171892608]
  中層は言語間アライメントの可能性が強い。 スロットフィリング、機械翻訳、構造化テキスト生成の実験は、言語間転送における一貫した改善を示している。 我々は、個別に訓練されたアライメントモジュールを既存のタスク固有のモジュールとマージすることができ、完全に再トレーニングすることなく言語間の機能を改善することを示す。
  論文  参考訳（メタデータ） (2025-02-20T18:45:43Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• GL-CLeF: A Global-Local Contrastive Learning Framework for Cross-lingual Spoken Language Understanding [74.39024160277809]
  この問題に対処するために,グローバルローカルコントラスト学習フレームワーク(GL-CLeF)を提案する。 具体的には、比較学習を採用し、二言語辞書を活用して、同じ発話の多言語ビューを構築する。 GL-CLeFは最高のパフォーマンスを達成し、言語間の類似した文の表現をうまくプルする。
  論文  参考訳（メタデータ） (2022-04-18T13:56:58Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。