論文の概要: The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling

• arxiv url: http://arxiv.org/abs/2410.09223v1
• Date: Fri, 11 Oct 2024 19:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 15:43:17.604343
• Title: The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling
• Title（参考訳）: 同じだが異なる:多言語言語モデリングにおける構造的類似点と相違点
• Authors: Ruochen Zhang, Qinan Yu, Matianyu Zang, Carsten Eickhoff, Ellie Pavlick,
• Abstract要約: 英語と中国語の多言語モデルと単言語モデルを用いて,2つのタスクに関わる内部回路を解析する。 モデルが同じ回路を用いて同じ構文過程を処理するという証拠は,その発生した言語とは無関係に発見される。 いくつかの言語にのみ存在する言語処理を扱うために,多言語モデルでは言語固有のコンポーネントが使用される。
• 参考スコア（独自算出の注目度）: 32.551917185112046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We employ new tools from mechanistic interpretability in order to ask whether the internal structure of large language models (LLMs) shows correspondence to the linguistic structures which underlie the languages on which they are trained. In particular, we ask (1) when two languages employ the same morphosyntactic processes, do LLMs handle them using shared internal circuitry? and (2) when two languages require different morphosyntactic processes, do LLMs handle them using different internal circuitry? Using English and Chinese multilingual and monolingual models, we analyze the internal circuitry involved in two tasks. We find evidence that models employ the same circuit to handle the same syntactic process independently of the language in which it occurs, and that this is the case even for monolingual models trained completely independently. Moreover, we show that multilingual models employ language-specific components (attention heads and feed-forward networks) when needed to handle linguistic processes (e.g., morphological marking) that only exist in some languages. Together, our results provide new insights into how LLMs trade off between exploiting common structures and preserving linguistic differences when tasked with modeling multiple languages simultaneously.
• Abstract（参考訳）: 我々は,言語モデルの内部構造(LLM)が訓練対象の言語を基盤とする言語構造に対応しているかどうかを問うため,機械論的解釈可能性から新たなツールを採用する。 特に、(1)2つの言語が同じ形態素的プロセスを採用する場合、LLMは共用内部回路を用いてそれらを処理するのか? 2つの言語が異なるモルフォシンタクティックプロセスを必要とする場合、LLMは異なる内部回路を用いてそれらを処理するか? 英語と中国語の多言語モデルと単言語モデルを用いて,2つのタスクに関わる内部回路を解析する。 モデルが同じ回路を用いて、同じ構文過程を発生した言語とは独立に扱うという証拠が得られ、これは完全に独立に訓練された単言語モデルにも当てはまる。 さらに,言語にのみ存在する言語プロセス(形態的マーキングなど)を扱うために必要な場合,多言語モデルでは言語固有のコンポーネント(アテンションヘッドとフィードフォワードネットワーク)が採用されていることを示す。 その結果,複数の言語を同時にモデル化する作業において,LLMが共通構造の活用と言語的差異の維持とを両立させる方法について,新たな知見が得られた。

関連論文リスト

• How Do Multilingual Models Remember? Investigating Multilingual Factual Recall Mechanisms [50.13632788453612]
  大規模言語モデル(LLM)は、事前訓練中に取得した膨大な事実知識を格納し、取得する。 これらのプロセスが他の言語や多言語 LLM にどのように一般化されるのかという問題は未解明のままである。 言語がリコールプロセスにおいてどのような役割を果たすのかを考察し,言語に依存しない,言語に依存したメカニズムの証拠を明らかにする。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Counterfactually Probing Language Identity in Multilingual Models [15.260518230218414]
  多言語モデルの内部構造を探索するために, 対実的探索法AlterRepを用いる。 言語 X のテンプレートを考えると、言語 Y が言語 Y の単語の確率を体系的に増加させることが分かる。
  論文  参考訳（メタデータ） (2023-10-29T01:21:36Z)
• The Less the Merrier? Investigating Language Representation in Multilingual Models [8.632506864465501]
  多言語モデルにおける言語表現について検討する。 我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
  論文  参考訳（メタデータ） (2023-10-20T02:26:34Z)
• Universal and Independent: Multilingual Probing Framework for Exhaustive Model Interpretation and Evaluation [0.04199844472131922]
  多数の言語を簡単に探索できるGUI支援フレームワークを提案し,適用した。 mBERTモデルで明らかになった規則性のほとんどは、西欧語で典型的である。 私たちのフレームワークは,既存のプローブツールボックスやモデルカード,リーダボードと統合することができます。
  論文  参考訳（メタデータ） (2022-10-24T13:41:17Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• Meta-Learning for Effective Multi-task and Multilingual Modelling [23.53779501937046]
  タスクと言語間の相互作用を学ぶためのメタラーニング手法を提案する。 我々は、XTREME多言語ベンチマークデータセットから5つの異なるタスクと6つの異なる言語に関する実験を提示する。
  論文  参考訳（メタデータ） (2021-01-25T19:30:26Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。