論文の概要: Shared Circuits for Shared Grammar: Tracing Subject-Verb Agreement Across Languages

• arxiv url: http://arxiv.org/abs/2608.18545v1
• Date: Wed, 19 Aug 2026 05:05:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.283548
• Title: Shared Circuits for Shared Grammar: Tracing Subject-Verb Agreement Across Languages
• Title（参考訳）: 共有文法のための共有回路:言語間の主語と動詞の一致の追跡
• Authors: Isabella Gidi, Antonio Almudévar, Core Francisco Park, Naomi Saphra, Ricard Marxer,
• Abstract要約: 過剰な人物/数字の屈折を持つ言語は、非共役言語よりも類似した合意回路を示す。 多くの意味のある頭は言語間で類似した注意パターンを示しており、言語間重複は共通機能の役割と共通局在を反映していることを示唆している。
• 参考スコア（独自算出の注目度）: 18.33287987422947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual large language models often generalize across languages, and prior work suggests that their internal mechanisms can overlap cross-lingually. It remains unclear, however, when such sharing emerges and whether it varies with the overt realization of the same grammatical operation. We investigate this question for present-tense subject-verb agreement, a morphosyntactic process that varies substantially across languages and is only weakly expressed in English. Using activation patching and attention analysis across 29 languages and five open-source model families, we identify the attention heads causally implicated in agreement and compare these head-level signatures across languages. We find that languages with overt person/number inflection exhibit more similar agreement circuitry than non-conjugating languages, with the strongest sharing appearing when the analysis isolates recovery of the inflectional contrast itself. English provides an informative bridge case, becoming more similar to conjugating languages precisely in contexts where overt agreement is required. Finally, many implicated heads display similar attention patterns across languages, suggesting that cross-lingual overlap reflects shared functional roles as well as shared localization. Together, these results indicate that multilingual LLMs reuse partially shared computational structure for morphosyntactic agreement rather than relying on fully separate language-specific solutions.
• Abstract（参考訳）: 言語全体にまたがる多言語大言語モデルはしばしば一般化され、先行研究は言語間をまたがる内部メカニズムが重なる可能性があることを示唆している。 しかし、そのような共有がいつ出現し、同じ文法演算のオーバート実現と異なるかは、まだ不明である。 本稿では, 言語によって大きく異なり, 英語でしか表現されていない形態素合成過程である, 現状の主語-動詞合意について検討する。 アクティベーションパッチと、29の言語と5つのオープンソースモデルファミリ間のアテンション分析を用いて、アテンションヘッドが合意に因果関係があることを特定し、これらのヘッドレベルシグネチャを言語間で比較する。 その結果,非共役言語よりも多言語多言語/多言語が類似したコンセンサス回路を呈し,分析結果から屈折コントラストの回復を分離した場合に最強の共有が現れることがわかった。 英語は情報的ブリッジのケースを提供し、オーバート合意が必要なコンテキストにおいて、正確に共役する言語に近いものとなる。 最後に、多くの意味のある頭は、言語間で類似した注意パターンを示し、言語間重複は、共有機能の役割と共有ローカライゼーションを反映していることを示唆している。 これらの結果は,多言語 LLM が完全に独立した言語固有の解に頼るのではなく,部分的に共有された計算構造をモルフォシンタクティック合意のために再利用していることを示している。

関連論文リスト

• Tokenizing Crosslingual Homographs [8.254230288283258]
  多言語言語モデルは、限られた数のトークン単位内で複数の言語を表現するために、共有サブワード語彙に依存している。 我々はこの制限を言語間ホモグラフと偽の友人を通して検討する。 そこで本稿では,共有語彙単語の初期文字を置き換える言語固有の文字を用いた,単純なトークン化レベル介入を提案する。
  論文  参考訳（メタデータ） (2026-07-20T08:37:31Z)
• When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
  本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
  論文  参考訳（メタデータ） (2026-01-30T11:23:01Z)
• On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
  SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。 これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
  論文  参考訳（メタデータ） (2025-10-11T16:26:50Z)
• False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
  多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。 トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか? 相反する語彙を持つモデルでは、重なり合う結果が得られます。
  論文  参考訳（メタデータ） (2025-09-23T07:47:54Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer [15.578267998149743]
  サブワード重複の欠如は,言語が単語順に異なる場合,ゼロショット転送に大きく影響することを示す。 言語間の伝達性能と単語埋め込みアライメントの間には強い相関関係がある。 その結果、言語間の単語埋め込みアライメントを明示的に改善する多言語モデルに焦点が当てられた。
  論文  参考訳（メタデータ） (2021-10-27T21:25:39Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。