論文の概要: Do Llamas Work in English? On the Latent Language of Multilingual Transformers

• arxiv url: http://arxiv.org/abs/2402.10588v4
• Date: Sat, 8 Jun 2024 11:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 22:32:43.521489
• Title: Do Llamas Work in English? On the Latent Language of Multilingual Transformers
• Title（参考訳）: Llamasは英語で働くか?多言語トランスフォーマーの潜在言語について
• Authors: Chris Wendler, Veniamin Veselovsky, Giovanni Monea, Robert West,
• Abstract要約: 我々は、英語が支配するコーパスが、英語を内的ピボット言語として使っているかどうかを問う。 本研究は、独特な正しい単語継続を伴う英語でないプロンプトを慎重に構築する。 これらの結果を、3つの位相が「入力空間」、「概念空間」、「出力空間」で機能する概念モデルにキャストした。
• 参考スコア（独自算出の注目度）: 13.885884589999492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We ask whether multilingual language models trained on unbalanced, English-dominated corpora use English as an internal pivot language -- a question of key importance for understanding how language models function and the origins of linguistic bias. Focusing on the Llama-2 family of transformer models, our study uses carefully constructed non-English prompts with a unique correct single-token continuation. From layer to layer, transformers gradually map an input embedding of the final prompt token to an output embedding from which next-token probabilities are computed. Tracking intermediate embeddings through their high-dimensional space reveals three distinct phases, whereby intermediate embeddings (1) start far away from output token embeddings; (2) already allow for decoding a semantically correct next token in the middle layers, but give higher probability to its version in English than in the input language; (3) finally move into an input-language-specific region of the embedding space. We cast these results into a conceptual model where the three phases operate in "input space", "concept space", and "output space", respectively. Crucially, our evidence suggests that the abstract "concept space" lies closer to English than to other languages, which may have important consequences regarding the biases held by multilingual language models.
• Abstract（参考訳）: 我々は、言語モデルがどのように機能するか、言語バイアスの起源を理解する上で重要な問題である、英語を内部的なピボット言語として使用する、バランスの取れない英語支配のコーパスで訓練された多言語言語モデルかどうかを問う。 変換器モデルのLlama-2ファミリに着目し,一意に正しい単発連続性を持つ英語でないプロンプトを慎重に構築する。 層から層へ変換器は、最終プロンプトトークンの入力埋め込みを次の確率が計算される出力埋め込みに徐々にマッピングする。 中間埋め込みを高次元空間で追跡すると、(1)中間埋め込みは出力トークンの埋め込みから遠く離れたところから始まり、(2)既に中間層で意味論的に正しい次のトークンを復号できるが、そのバージョンが英語で入力言語よりも高い確率を与える。 これらの結果を「入力空間」と「概念空間」と「出力空間」の3つの相がそれぞれ動作する概念モデルにキャストした。 重要な証拠としては、抽象的な「概念空間」は他の言語よりも英語に近いことが示唆されており、多言語言語モデルが持つバイアスに関して重要な結果をもたらす可能性がある。

関連論文リスト

• Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers [12.94303673025761]
  変圧器に基づく言語モデルにおいて,単語翻訳作業中の潜時表現(潜時表現)を解析する。 出力言語は、翻訳される概念よりも前のレイヤの潜在層にエンコードされていることが分かりました。 本研究は,言語に依存しない概念表現の存在を実証するものである。
  論文  参考訳（メタデータ） (2024-11-13T16:26:19Z)
• Unveiling Multilinguality in Transformer Models: Exploring Language Specificity in Feed-Forward Networks [12.7259425362286]
  多言語モデルがキー値記憶をどのように活用するかを検討する。 2つ以上の言語で訓練された自己回帰モデルに対して、すべてのニューロン(層全体)は全ての言語に等しく反応するのか? その結果,ネットワークの入力や出力に最も近い層は,中間層に比べて言語固有の振る舞いを示す傾向があることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T06:45:00Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
  言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
  論文  参考訳（メタデータ） (2021-02-16T18:47:10Z)
• First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT [2.2931318723689276]
  言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。 多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。 エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
  論文  参考訳（メタデータ） (2021-01-26T22:12:38Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Investigating Language Impact in Bilingual Approaches for Computational Language Documentation [28.838960956506018]
  本稿では,翻訳言語の選択が後続文書作業に与える影響について検討する。 我々は56対のバイリンガルペアを作成し、低リソースの教師なし単語分割とアライメントのタスクに適用する。 この結果から,ニューラルネットワークの入力表現に手がかりを取り入れることで,翻訳品質とアライメント品質が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-03-30T10:30:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。