論文の概要: Do Multilingual Encoders Produce Language-Consistent Semantic IDs?

• arxiv url: http://arxiv.org/abs/2610.01139v1
• Date: Thu, 01 Oct 2026 06:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.930774
• Title: Do Multilingual Encoders Produce Language-Consistent Semantic IDs?
• Title（参考訳）: 多言語エンコーダは言語一貫性セマンティックIDを生成するか?
• Abstract要約: 我々は,多言語エンコーダが同一製品の異なる言語レンダリングに十分であるかどうかを問う。 英語、スペイン語、日本語で描画されたAmazon ESCIリストを使用して、翻訳が彼らの英語ソースに近いかどうかをテストする。 多言語露光とバランスの取れたコードブックだけでは、言語に一貫性のあるSIDは保証されない。
• 参考スコア（独自算出の注目度）: 0.4994217118194455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic IDs (SIDs) compress item embeddings into discrete code sequences used in generative retrieval. We ask whether a multilingual encoder is sufficient for different-language renderings of the same product to receive language-consistent SIDs. Using Amazon ESCI listings rendered in English, Spanish, and Japanese, we test whether translations remain close to their English source, whether residual quantization is unusually sensitive to translation-induced movement, and whether multilingual or language-balanced quantizer fitting improves SID agreement. Multilingual E5 places translations measurably apart: under an English-heavy fit, a Japanese translation preserves the first SID code of its English counterpart in only 7.7% of cases, compared with 89.0% for an English rewording. Distance-matched product-directed controls produce nearly the same full-SID mismatch as translation, providing no evidence that the quantizer selectively amplifies language directions. Balancing the fitting mixture makes codebook use more uniform but further reduces cross-lingual prefix agreement: Spanish first-code consistency falls from 28.3% to 6.6%, while an English-only fit preserves it for 67.6% of Spanish translations. These results show that multilingual exposure and balanced codebook use alone do not guarantee language-consistent SIDs.
• Abstract（参考訳）: セマンティックID(SID)は、生成検索に使用される個別のコードシーケンスにアイテムの埋め込みを圧縮する。 我々は,多言語エンコーダが同一製品の異なる言語レンダリングに十分であるかどうかを問う。 英語、スペイン語、日本語で表現されたAmazon ESCIリストを用いて、翻訳が英語ソースに近づいたままであるかどうか、残留量子化が翻訳誘起運動に異常に敏感であるかどうか、多言語または言語バランスの量子化器の適合がSID合意を改善するかどうかを検証した。 日本語訳では、英語の単語の89.0%よりもわずか7.7%のケースで英語の最初のSIDコードを保存している。 距離マッチングされた製品指向制御は、翻訳とほぼ同じ完全SIDミスマッチを生成し、量子化器が言語方向を選択的に増幅する証拠を与えない。 スペイン語のファーストコード一貫性は28.3%から6.6%に低下し、英語のみのフィットは67.6%のスペイン語翻訳で維持される。 これらの結果は、多言語露光とバランスの取れたコードブックだけでは、言語に一貫性のあるSIDを保証していないことを示している。

関連論文リスト

• Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders [0.9523331544264052]
  我々は、並列英語、ヒンディー語、ローマ字のコード混合文の統一的な三言語コーパスを構築した。 標準モデルは英語とヒンディー語をうまく一致させるが、コード混合入力はどちらの言語にもゆるやかに結びついている。
  論文  参考訳（メタデータ） (2026-03-20T09:02:38Z)
• LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal [34.73949500194166]
  多言語埋め込みは、セマンティクスと共に言語アイデンティティをエンコードする。 本稿では,プール埋め込みを訓練したポストホックスパースオートエンコーダであるLangSAE EDIINGを提案する。 複数の言語にわたる実験では、ランキング品質と言語間カバレッジが一貫して改善されている。
  論文  参考訳（メタデータ） (2026-01-08T09:36:41Z)
• Multilingual Generative Retrieval via Cross-lingual Semantic Compression [26.871916013557968]
  言語間セマンティック圧縮(MGR-CSC)を用いた多言語生成検索を提案する。 MGR-CSCは意味論的に等価な多言語キーワードを共有原子に統一し、意味論を整合させ、識別子空間を圧縮する。 MGR-CSCはmMarco100kで6.83%、mNQ320kで4.77%向上した。
  論文  参考訳（メタデータ） (2025-10-09T05:42:57Z)
• Modular Sentence Encoders: Separating Language Specialization from Cross-Lingual Alignment [50.80949663719335]
  多言語文エンコーダ(MSE)は、多言語言語モデルを訓練し、異なる言語からの文を共有意味空間にマッピングすることで一般的に得られる。 MSEは、パラメータ共有による単言語表現精度の喪失である多言語性の呪いを受ける。 我々は、異なる言語間タスクの矛盾する要求を解決するために、2つの異なるタイプのデータで言語間アダプタを訓練する。
  論文  参考訳（メタデータ） (2024-07-20T13:56:39Z)
• CoVoSwitch: Machine Translation of Synthetic Code-Switched Text Based on Intonation Units [0.0]
  コードスイッチングデータをPSSTで検出したインネーションユニットに置き換えて合成する。 我々はM2M-100 418MとNLLB-200 600Mの2つの多言語翻訳モデルのコードスイッチング翻訳性能を評価する。
  論文  参考訳（メタデータ） (2024-07-19T13:26:35Z)
• Bilingual Streaming ASR with Grapheme units and Auxiliary Monolingual Loss [11.447307867370064]
  自動音声認識(ASR)において、ほとんどの主要地域において、英語を二次的ローカライズとしてサポートするためのバイリンガルソリューションを導入する。 本研究の主な展開は, (a) 音素単位の代わりにグラファイム単位を用いた発音辞書, (b) 完全なバイリンガルアライメントモデル, 次いでバイリンガルストリーミングトランスフォーマーモデルである。 バイリンガル・スペイン語(ES)およびバイリンガル・イタリア語(IT)アプリケーションのための大規模トレーニングおよびテストタスクについて検討した。
  論文  参考訳（メタデータ） (2023-08-11T18:06:33Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Self-Attention with Cross-Lingual Position Representation [112.05807284056337]
  位置符号化(PE)は、自然言語処理タスクの単語順序情報を保存し、入力シーケンスの固定位置インデックスを生成する。 語順が異なるため、言語間の位置関係をモデル化することは、SANがこの問題に取り組むのに役立つ。 我々は、入力文のバイリンガル認識潜在構造をモデル化するために、言語間位置表現によるSANを拡大する。
  論文  参考訳（メタデータ） (2020-04-28T05:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。