論文の概要: The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling
- arxiv url: http://arxiv.org/abs/2410.09223v1
- Date: Fri, 11 Oct 2024 19:57:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 15:43:17.604343
- Title: The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling
- Title（参考訳）: 同じだが異なる:多言語言語モデリングにおける構造的類似点と相違点
- Authors: Ruochen Zhang, Qinan Yu, Matianyu Zang, Carsten Eickhoff, Ellie Pavlick,
- Abstract要約: 英語と中国語の多言語モデルと単言語モデルを用いて,2つのタスクに関わる内部回路を解析する。
モデルが同じ回路を用いて同じ構文過程を処理するという証拠は,その発生した言語とは無関係に発見される。
いくつかの言語にのみ存在する言語処理を扱うために,多言語モデルでは言語固有のコンポーネントが使用される。
- 参考スコア（独自算出の注目度）: 32.551917185112046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We employ new tools from mechanistic interpretability in order to ask whether the internal structure of large language models (LLMs) shows correspondence to the linguistic structures which underlie the languages on which they are trained. In particular, we ask (1) when two languages employ the same morphosyntactic processes, do LLMs handle them using shared internal circuitry? and (2) when two languages require different morphosyntactic processes, do LLMs handle them using different internal circuitry? Using English and Chinese multilingual and monolingual models, we analyze the internal circuitry involved in two tasks. We find evidence that models employ the same circuit to handle the same syntactic process independently of the language in which it occurs, and that this is the case even for monolingual models trained completely independently. Moreover, we show that multilingual models employ language-specific components (attention heads and feed-forward networks) when needed to handle linguistic processes (e.g., morphological marking) that only exist in some languages. Together, our results provide new insights into how LLMs trade off between exploiting common structures and preserving linguistic differences when tasked with modeling multiple languages simultaneously.
- Abstract（参考訳）: 我々は,言語モデルの内部構造(LLM)が訓練対象の言語を基盤とする言語構造に対応しているかどうかを問うため,機械論的解釈可能性から新たなツールを採用する。
特に、(1)2つの言語が同じ形態素的プロセスを採用する場合、LLMは共用内部回路を用いてそれらを処理するのか?
2つの言語が異なるモルフォシンタクティックプロセスを必要とする場合、LLMは異なる内部回路を用いてそれらを処理するか?
英語と中国語の多言語モデルと単言語モデルを用いて,2つのタスクに関わる内部回路を解析する。
モデルが同じ回路を用いて、同じ構文過程を発生した言語とは独立に扱うという証拠が得られ、これは完全に独立に訓練された単言語モデルにも当てはまる。
さらに,言語にのみ存在する言語プロセス(形態的マーキングなど)を扱うために必要な場合,多言語モデルでは言語固有のコンポーネント(アテンションヘッドとフィードフォワードネットワーク)が採用されていることを示す。
その結果,複数の言語を同時にモデル化する作業において,LLMが共通構造の活用と言語的差異の維持とを両立させる方法について,新たな知見が得られた。
関連論文リスト
- Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages [15.203789021094982]
大規模言語モデル(LLM)では、複数の言語がどのように学習され、エンコードされているか?
Llama-3-8BとAya-23-8Bでスパースオートエンコーダを訓練し、抽象文法の概念が多くの言語で共有される特徴方向に符号化されることを実証する。
論文 参考訳（メタデータ） (2025-01-10T21:18:21Z) - How Do Multilingual Language Models Remember Facts? [50.13632788453612]
これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。
我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。
デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
論文 参考訳（メタデータ） (2024-10-18T11:39:34Z) - Counterfactually Probing Language Identity in Multilingual Models [15.260518230218414]
多言語モデルの内部構造を探索するために, 対実的探索法AlterRepを用いる。
言語 X のテンプレートを考えると、言語 Y が言語 Y の単語の確率を体系的に増加させることが分かる。
論文 参考訳（メタデータ） (2023-10-29T01:21:36Z) - The Less the Merrier? Investigating Language Representation in
Multilingual Models [8.632506864465501]
多言語モデルにおける言語表現について検討する。
我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
論文 参考訳（メタデータ） (2023-10-20T02:26:34Z) - Universal and Independent: Multilingual Probing Framework for Exhaustive
Model Interpretation and Evaluation [0.04199844472131922]
多数の言語を簡単に探索できるGUI支援フレームワークを提案し,適用した。
mBERTモデルで明らかになった規則性のほとんどは、西欧語で典型的である。
私たちのフレームワークは,既存のプローブツールボックスやモデルカード,リーダボードと統合することができます。
論文 参考訳（メタデータ） (2022-10-24T13:41:17Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - Cross-Lingual Ability of Multilingual Masked Language Models: A Study of
Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。
我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文 参考訳（メタデータ） (2022-03-16T07:09:35Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。
シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。
提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
論文 参考訳（メタデータ） (2021-07-27T06:51:13Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。