論文の概要: Double Trouble: Bilingual Pretraining Leaves Language-Conditioned Effects in Shared-Language Representations

• arxiv url: http://arxiv.org/abs/2608.26576v1
• Date: Thu, 27 Aug 2026 03:39:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.233896
• Title: Double Trouble: Bilingual Pretraining Leaves Language-Conditioned Effects in Shared-Language Representations
• Title（参考訳）: 二重問題:二言語事前学習葉の共有言語表現における言語依存効果
• Abstract要約: 埋め込みアライメントは、モデルが内部的に共用言語を表現する方法について、実際の違いを隠蔽する可能性がある。 この仮定はデコーダのみのモデルでは時期尚早であることを示す。
• 参考スコア（独自算出の注目度）: 25.913929585741034
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: When researchers compare multilingual models for probing, interpretability, or cross-lingual transfer, they often align embedding spaces and assume that shared-language representations are comparable. We show that this assumption can be premature for decoder-only models. We pretrain paired 310M-parameter models (one English-only, one bilingual) across eight typologically diverse languages, separately controlling for English exposure, total compute, and document overlap. After aligning on shared English vocabulary, we test held-out words and find that token embeddings look similar after alignment, but the deeper hidden states that the model uses for prediction do not. This gap holds for all eight languages and survives controls for document overlap and alternative alignment methods. This hidden-state mismatch grows through middle transformer layers, suggesting that it arises from contextual processing rather than the input representations where alignment is performed. Embedding alignment can mask real differences in how models internally represent a shared language, which matters for any downstream study that treats aligned models as interchangeable.
• Abstract（参考訳）: 研究者は、探索、解釈可能性、言語間移動のための多言語モデルを比較するとき、埋め込み空間を整列させ、共有言語表現が同等であると仮定することが多い。 この仮定はデコーダのみのモデルでは時期尚早であることを示す。 310Mパラメータモデル(英語のみ、1つのバイリンガル)を8言語にプリトレーニングし、英語の露出、総計算、文書重複を別々に制御した。 共用英語語彙をアライメントした後、保留語をテストし、アライメント後にトークンの埋め込みが類似しているように見えるが、モデルが予測に使用する深い隠れ状態はそうではない。 このギャップは8つの言語すべてに当てはまり、ドキュメントの重複と代替アライメントメソッドのコントロールを継続する。 この隠れ状態のミスマッチは、中間変圧器層を通して成長し、アライメントを行う入力表現ではなく、コンテキスト処理から生じることを示唆している。 埋め込みアライメントは、モデルが共用言語を内部的にどのように表現するかにおいて、実際の違いを隠蔽する可能性がある。

関連論文リスト

• Cross-Lingual Alignment Without Joint Training: Do Monolingual Language Models Converge on Universal Representations? [25.211096690334355]
  多言語モデルの言語間アライメントは、典型的には共同訓練によるものである。 非並列データでトレーニングされた単言語モデルが、共同トレーニングなしで整合性表現を学習するかどうかを問う。
  論文  参考訳（メタデータ） (2026-08-27T13:27:18Z)
• Preferences for Idiomatic Language are Acquired Slowly -- and Forgotten Quickly: A Case Study on Swedish [0.6599344783327054]
  本研究では,言語モデルがどのようにテクティビズムの嗜好を発達させるかを検討する。 言語的受容性については、既存のベンチマークを最小のペア形式に適応させる。 本研究は,他の言語能力よりも,慣用的能力の出現が遅いことを示唆している。
  論文  参考訳（メタデータ） (2026-02-03T12:57:39Z)
• False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
  多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。 トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか? 相反する語彙を持つモデルでは、重なり合う結果が得られます。
  論文  参考訳（メタデータ） (2025-09-23T07:47:54Z)
• On the Acquisition of Shared Grammatical Representations in Bilingual Language Models [6.266732217239363]
  言語間移動は、現代言語モデルの多言語能力にとって重要であるが、どのように起こるかはよく理解されていない。 第二言語でトレーニングを始めると、モノリンガル言語モデルに何が起こるのかを尋ねる。 共有多言語表現の証拠を見つけるために,人間の文法表現を研究するために用いられる構造プライミングに目を向ける。
  論文  参考訳（メタデータ） (2025-03-05T23:27:58Z)
• PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment [68.20851615263953]
  大規模な言語モデルは、英語中心の事前訓練にもかかわらず、合理的な多言語能力を示す。 これらのモデルにおける自発的な多言語アライメントは弱く、不満足な言語間移動と知識共有をもたらす。 言語モデル事前学習に先立って多言語アライメントを確立するフレームワークであるPreAlignを提案する。
  論文  参考訳（メタデータ） (2024-07-23T06:59:53Z)
• Language Versatilists vs. Specialists: An Empirical Revisiting on Multilingual Transfer Ability [11.000499414131324]
  我々は4種類の推論タスクにまたがって実験を行う。 多言語事前学習モデルは、必ずしも英語中心のモデルよりも優れているとは限らない。 英語は適切なソース言語ではないようで、英語中心のモデルがスケールアップされると、ソース言語の選択が重要になりにくくなります。
  論文  参考訳（メタデータ） (2023-06-11T14:03:09Z)
• Language Model Tokenizers Introduce Unfairness Between Languages [98.92630681729518]
  トークン化段階では,モデルが呼び出される直前に,異なる言語に対する扱いの相違が生じることを示す。 文字レベルとバイトレベルのモデルも、いくつかの言語ペアの符号化長の4倍以上の差を示している。 我々は、多言語で公平なサブワードトークン化器を用いて、将来の言語モデルを訓練するべきだと仮定する。
  論文  参考訳（メタデータ） (2023-05-17T14:17:57Z)
• A Crosslingual Investigation of Conceptualization in 1335 Languages [0.2216657815393579]
  本稿では,1,335言語間の概念化の相違について,並列コーパスにおける概念の整合性について検討する。 本稿では,ソース言語の概念とターゲット言語文字列の集合との間に二部方向のアライメントグラフを作成する手法であるConceptualizerを提案する。 1つの概念(bird')に対する全言語にわたる詳細な言語分析と32のスワデシュ概念に対する金標準データの評価において、概念化器はアライメント精度が良いことを示す。
  論文  参考訳（メタデータ） (2023-05-15T09:27:34Z)
• M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
  本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。 非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
  論文  参考訳（メタデータ） (2022-11-02T14:54:45Z)
• MonoByte: A Pool of Monolingual Byte-level Language Models [4.491765479948667]
  同じ構成で厳格に事前訓練された10のモノリンガルバイトレベルのモデルをリリースする。 トークンを含まないため、目に見えないトークン埋め込みの問題は排除される。 QAタスクとNLIタスクの実験は、我々のモノリンガルモデルがマルチリンガルモデルと競合する性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-09-22T14:32:48Z)
• Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
  一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
  論文  参考訳（メタデータ） (2022-04-17T23:56:54Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment [49.45399359826453]
  言語間の言語モデルは通常、多言語テキストやパラレル文の言語モデリングで事前訓練される。 本稿では,新たな言語間事前学習課題として認知単語アライメントを導入する。 実験結果から,本手法は各種データセットの言語間移動性を向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T13:36:01Z)
• Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining [3.4519649635864584]
  本研究は、ペアまたはペアなしのバイリンガルテキストを用いた言語間表現の学習手法を提案する。 我々は、言語間アライメント戦略は転送可能であり、2つの言語のみをアライメントするように訓練されたモデルは、多言語的によりアライメントされた表現を符号化できると仮定する。
  論文  参考訳（メタデータ） (2021-04-15T17:51:22Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。