論文の概要: Causal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2608.28924v1
• Date: Fri, 28 Aug 2026 22:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.787102
• Title: Causal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models
• Title（参考訳）: 多言語言語モデルにおける因果的介入がタイポロジー的に組織化された構文メカニズムを解明する
• Abstract要約: 言語理論は長い間、言語間の相乗正則性を認識しており、これらの構造は同様の機構によって処理されると主張する。 本研究では,機械的解釈可能性の手法を活用し,多言語 LM におけるそのような問題の研究を行う。
• 参考スコア（独自算出の注目度）: 9.390288624195044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linguistic theory has long recognized cross-linguistic syntactic regularities, leading to claims that these similar structures are processed by similar mechanisms. However, this hypothesis has been difficult to test empirically due to our lack of fine-grained, manipulable access of human processing mechanisms. In this work, we take advantage of techniques from mechanistic interpretability to study such a question in multilingual LMs. We first isolate language-internal mechanisms before attempting to transfer them cross-lingually. Across four models and three well-studied constructions (subject--verb number agreement, anaphoric pronoun gender agreement, and filler--gap object extraction) we find consistent cross-lingual mechanism transfer. We further find transfer to be graded, with more transfer between more typologically similar languages. We believe our work provides novel hypotheses about cross-linguistic syntactic structures and multilingual processing, and more broadly shows how the study of language models can help inform linguistic theory.
• Abstract（参考訳）: 言語理論は長い間、言語横断的な構文規則性を認識しており、これらの類似した構造は同様の機構によって処理されると主張する。 しかしながら、この仮説は、人間の処理機構の微細で操作可能なアクセスが欠如しているため、経験的にテストすることは困難である。 本研究では,機械的解釈可能性の手法を活用し,多言語 LM におけるそのような問題の研究を行う。 まず言語内部のメカニズムを分離し,言語間移動を試みる。 4つのモデルと3つのよく研究された構成(主語-動詞番号の一致、アナフォリック代名詞の性別の一致、およびフィラー-ギャップオブジェクトの抽出)で、一貫した言語間メカニズムの移動が見つかる。 さらに、より類型的に類似した言語間の移動により、グレード化される。 我々は,言語間の構文構造と多言語処理に関する新たな仮説を提供し,言語モデルの研究が言語理論にどのように貢献するかを広く示す。

関連論文リスト

• An In-Vitro Study on Cross-Lingual Generalization in Language Models [1.9875440739965626]
  語彙重なり、形態学、データ不均衡、トークン化が絡み合っているため、言語モデルの言語間移動は研究が難しい。 そこで我々は,同じオントロジー,型文法,構成構造を持つ2つの手続き生成言語を用いたインビトロフレームワークを提案する。 トークン化が再利用可能な言語間サブストラクチャを保存するか否かよりも,トークン化バランスや生の語彙的類似性がより少ないことが判明した。
  論文  参考訳（メタデータ） (2026-05-26T08:20:20Z)
• When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
  本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
  論文  参考訳（メタデータ） (2026-01-30T11:23:01Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Competition of Mechanisms: Tracing How Language Models Handle Facts and Counterfactuals [82.68757839524677]
  解釈可能性研究は、経験的成功と大規模言語モデル(LLM)の科学的理解のギャップを埋めることを目的としている。 本稿では,個々のメカニズムではなく,複数のメカニズムの相互作用に着目した,メカニズムの競合の定式化を提案する。 本研究は, 種々のモデル成分間の機構とその競合の痕跡を示し, 特定の機構の強度を効果的に制御する注意位置を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T17:26:51Z)
• Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models [40.83377935276978]
  本研究は、訓練済みニューラルネットワークモデルに因果媒介分析を適用した。 文法的屈折に対するモデルの好みの大きさについて検討する。 本研究は, 構文構造に応じて, 主語と主語を一致させる2つのメカニズムを観察する。
  論文  参考訳（メタデータ） (2021-06-10T23:50:51Z)
• Constructing a Family Tree of Ten Indo-European Languages with Delexicalized Cross-linguistic Transfer Patterns [57.86480614673034]
  我々は,デレクシカル化転送を,解釈可能なツリー・ツー・ストリングパターンとツリー・ツー・ツリーパターンとして定式化する。 これにより、言語間移動を定量的に探索し、第二言語習得の問い合わせを拡張することができる。
  論文  参考訳（メタデータ） (2020-07-17T15:56:54Z)
• Cross-Cultural Similarity Features for Cross-Lingual Transfer Learning of Pragmatically Motivated Tasks [30.580822082075475]
  本稿では,言語パターンに現れる異文化の類似性を捉え,言語プラグマティクスの異なる側面を定量化する3つの言語特徴を紹介する。 分析の結果,提案する実用的特徴は異文化間の類似性を捉え,社会言語学や言語人類学における既存の研究とよく一致していることがわかった。
  論文  参考訳（メタデータ） (2020-06-16T17:20:25Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。