論文の概要: Steering beyond Language: Improving Multilingual Training-Free Text Embeddings via Paired-Residual Subspace Removal

• arxiv url: http://arxiv.org/abs/2610.23807v1
• Date: Fri, 16 Oct 2026 17:30:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.037886
• Title: Steering beyond Language: Improving Multilingual Training-Free Text Embeddings via Paired-Residual Subspace Removal
• Title（参考訳）: 言語以外のステアリング: ペア-残留部分空間除去による多言語学習自由テキスト埋め込みの改善
• Abstract要約: LLMにおける多言語学習自由テキスト埋め込みに関する最初の体系的研究について述べる。 Paired-Residual Subspace removalは、LLM表現を言語不変なセマンティック空間に向けて操る訓練不要な推論時間介入である。 我々は、MTEBとMTEBを用いて18言語で200以上のモノリンガル評価を行い、英語と200以上の言語間でのバイストマイニングを行った。
• 参考スコア（独自算出の注目度）: 23.327977837371503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deriving text embeddings directly from frozen LLMs has emerged as a promising direction, existing methods focus almost exclusively on English, leaving multilingual settings largely unexplored. In this work, we present the first systematic study of multilingual training-free text embeddings in LLMs. Our analysis reveals a language-conditioned embedding geometry in which semantically equivalent sentences remain misaligned across languages. We hypothesize that language-specific variation can be disentangled from semantic content to improve embedding quality. To this end, we propose Paired-Residual Subspace Removal (PRSR), a training-free inference-time intervention that steers LLM representations toward a more language-invariant semantic space. PRSR first constructs paired residuals from multilingual parallel sentences to capture language-specific deviations. It then estimates layer-wise low-rank subspaces from these residuals and suppresses the corresponding components in the last-token hidden states. We conduct more than 200 monolingual evaluations across 18 languages using MTEB and MMTEB, along with cross-lingual bitext mining between English and over 200 other languages. Empirical results demonstrate that PRSR consistently improves the performance of existing training-free baselines in both monolingual and cross-lingual settings across different LLMs.
• Abstract（参考訳）: 凍結LDMから直接テキスト埋め込みを導出することは有望な方向として現れてきたが、既存の手法はほとんど英語に焦点を絞っており、多言語設定はほとんど探索されていない。 本研究では,LLMにおける多言語学習自由テキスト埋め込みに関する最初の体系的研究について述べる。 解析の結果,意味論的に等価な文が言語間で不一致なままである言語条件の埋め込み幾何学が明らかになった。 言語固有の変化はセマンティックコンテンツから切り離して埋め込み品質を向上させることができると仮定する。 そこで本稿では,LLM表現を言語不変のセマンティック空間に向けて制御する,トレーニング不要な推論時間介入であるPaired-Residual Subspace removal (PRSR)を提案する。 PRSRはまず、多言語並列文からペア化された残基を構築し、言語固有の偏差をキャプチャする。 そして、これらの残余から層単位での低ランク部分空間を推定し、最後の隠れ状態にある対応する成分を抑圧する。 我々は、MTEBとMTEBを用いて18言語で200以上のモノリンガル評価を行い、英語と200以上の言語間でのバイストマイニングを行った。 実証実験の結果,PRSR は既存の学習自由ベースラインの性能を,異なる LLM にまたがるモノリンガル設定とクロスリンガル設定の両方で一貫して改善することが示された。

関連論文リスト

• When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
  本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
  論文  参考訳（メタデータ） (2026-01-30T11:23:01Z)
• Evaluating Cross-Lingual Unlearning in Multilingual Language Models [7.530890774798437]
  部分空間射影は最小の劣化を伴って強い言語間忘れを実現する。 重み空間の幾何に依拠し、将来の未学習システムに対するサブスペースベースのアプローチを動機付けていることを示す。
  論文  参考訳（メタデータ） (2026-01-10T20:27:32Z)
• The Hidden Space of Safety: Understanding Preference-Tuned LLMs in Multilingual context [0.9130277390156759]
  アライメントチューニングにより、大きな言語モデルは、推論、命令追従、有害な世代を最小化できる。 広く展開されているにもかかわらず、これらのモデルはモノリンガルバイアスを示し、言語間のアライメントの有効性に関する懸念を提起する。 現在のアライメント手法は主に英語に重点を置いており、アライメント機構が多言語設定にどのように一般化するかははっきりしない。
  論文  参考訳（メタデータ） (2025-04-03T15:46:46Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)
• A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
  既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。 意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:36:53Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
  本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。 提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。 また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
  論文  参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。