論文の概要: Languages are Modalities: Cross-Lingual Alignment via Encoder Injection

• arxiv url: http://arxiv.org/abs/2510.27254v1
• Date: Fri, 31 Oct 2025 07:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.025392
• Title: Languages are Modalities: Cross-Lingual Alignment via Encoder Injection
• Title（参考訳）: 言語はモダリティ:エンコーダ注入による言語間アライメント
• Authors: Rajan Agarwal, Aarush Gupta,
• Abstract要約: 本稿では、トークン化器を変更したり、デコーダを再訓練したりすることなく、命令調整されたデコーダを条件とした効率的な言語・モダリティ手法を提案する。 LLINKはバイリンガル検索を大幅に改善し、ベースモデルよりも81.3%の嗜好を得る。 改良は, トークン化インフレーションの低減と, より強いクロスリンガルアライメントに起因することが判明した。
• 参考スコア（独自算出の注目度）: 0.8461674097042394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-tuned Large Language Models (LLMs) underperform on low resource, non-Latin scripts due to tokenizer fragmentation and weak cross-lingual coupling. We present LLINK (Latent Language Injection for Non-English Knowledge), a compute efficient language-as-modality method that conditions an instruction-tuned decoder without changing the tokenizer or retraining the decoder. First, we align sentence embeddings from a frozen multilingual encoder to the decoder's latent embedding space at a reserved position via a lightweight contrastive projector. Second, the vector is expanded into K soft slots and trained with minimal adapters so the frozen decoder consumes the signal. LLINK substantially improves bilingual retrieval and achieves 81.3% preference over the base model and 63.6% over direct fine-tuning in LLM-judged Q&A evaluations. We further find that improvements can be attributed to reduced tokenization inflation and a stronger cross lingual alignment, despite the model having residual weaknesses in numeric fidelity. Treating low resource languages as a modality offers a practical path to stronger cross-lingual alignment in lightweight LLMs.
• Abstract（参考訳）: 命令調整型大規模言語モデル(LLM)は、トークン化器の断片化と弱い言語間結合により、低リソース、非ラテン語スクリプトで性能が低下する。 LLINK(Latent Language Injection for Non- English Knowledge)は、トークン化器を変更したりデコーダを再訓練したりすることなく、命令調整されたデコーダを条件付ける、効率的な言語・アズ・モダリティ法である。 まず, 凍結した多言語エンコーダからの文埋め込みを, 軽量のコントラストプロジェクタを介して, 留置位置でデコーダの潜伏埋め込み空間に整列させる。 第二に、ベクトルはKソフトスロットに拡張され、最小限のアダプタで訓練されるので、冷凍デコーダは信号を消費する。 LLINKはバイリンガル検索を大幅に改善し、ベースモデルよりも81.3%、LLM-judged Q&A評価において直接微調整よりも63.6%を優先している。 さらに, 数値フィデリティの弱いモデルであっても, トークン化インフレーションの低減と, より強い交叉アライメントによる改善が期待できることがわかった。 低リソース言語をモダリティとして扱うことは、軽量LLMにおいてより強力な言語間アライメントを実現するための実践的な道筋を提供する。

関連論文リスト

• Language steering in latent space to mitigate unintended code-switching [1.1330938617817454]
  大きな言語モデル(LLM)は意図しないコードスイッチングを示し、下流タスクの信頼性を低下させる。 並列翻訳におけるPCAによる言語方向を識別する軽量な推論時間法である潜在空間言語ステアリングを提案する。 提案手法は,計算オーバーヘッドの少ないセマンティクスを保ちながら,コードスイッチングを緩和する。
  論文  参考訳（メタデータ） (2025-10-11T19:49:38Z)
• Adapting Whisper for Code-Switching through Encoding Refining and Language-Aware Decoding [27.499426765845705]
  コードスイッチング自動音声認識(ASR)はアクセント、聴覚的類似性、シームレスな言語スイッチによる言語混乱による課題に直面している。 我々は,大規模多言語事前学習音声認識モデルであるWhisperを,エンコーダ部とデコーダ部の両方からCSに適応させる。
  論文  参考訳（メタデータ） (2024-12-21T07:06:44Z)
• Bridging the Language Gap: Enhancing Multilingual Prompt-Based Code Generation in LLMs via Zero-Shot Cross-Lingual Transfer [5.355430735475281]
  本稿では,多言語プロンプトベースのコード生成の複雑さについて検討する。 評価の結果,非英語のプロンプトにおけるコード品質の相違が明らかとなった。 本稿では,ニューラルプロジェクション手法を用いたゼロショット言語間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-19T05:11:46Z)
• Speculative Contrastive Decoding [55.378200871224074]
  大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。 投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
  論文  参考訳（メタデータ） (2023-11-15T14:15:30Z)
• LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers [71.76680102779765]
  自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。 ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
  論文  参考訳（メタデータ） (2022-11-05T04:03:55Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation [104.10726545151043]
  マルチリンガルデータは、LRLからターゲット言語に翻訳するNMTモデルにとって、LRLに翻訳するモデルよりも有益であることが判明した。 実験の結果,DecSDEは最大1.8BLEUの英語から4つの言語への翻訳において一貫した向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-10-04T19:42:40Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。