論文の概要: Causal Drawbridges: Characterizing Gradient Blocking of Syntactic Islands in Transformer LMs

• arxiv url: http://arxiv.org/abs/2604.13950v1
• Date: Wed, 15 Apr 2026 15:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.593607
• Title: Causal Drawbridges: Characterizing Gradient Blocking of Syntactic Islands in Transformer LMs
• Title（参考訳）: 因果ドローブリッジ:トランスフォーマーLMにおけるシンタクティック・アイランドのグラディエント・ブロッキング特性
• Authors: Sasha Boguraev, Kyle Mahowald,
• Abstract要約: 本稿では,トランスフォーマーモデルにおける因果的介入が,統語論的理論の長年の課題である統語論的島々に焦点をあてることで,英語の文法に対する洞察を提供することを示す。 現代トランスフォーマー言語モデルがこの勾配を越えて人間の判断を再現していることを示す。 接続 "and" は、抽出可能な構造と非抽出可能な構造において異なる形で表現される、という新しい言語仮説を導出する。
• 参考スコア（独自算出の注目度）: 11.31435294855236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show how causal interventions in Transformer models provide insights into English syntax by focusing on a long-standing challenge for syntactic theory: syntactic islands. Extraction from coordinated verb phrases is often degraded, yet acceptability varies gradiently with lexical content (e.g., "I know what he hates art and loves" vs. "I know what he looked down and saw"). We show that modern Transformer language models replicate human judgments across this gradient. Using causal interventions that isolate functionally relevant subspaces in Transformer blocks, attention modules, and MLPs, we demonstrate that extraction from coordination islands engages the same filler-gap mechanisms as canonical wh-dependencies, but that these mechanisms are selectively blocked to varying degrees. By projecting a large corpus of unrelated text onto these causally identified subspaces, we derive a novel linguistic hypothesis: the conjunction "and" is represented differently in extractable versus non-extractable constructions, corresponding to expressions encoding relational dependencies versus purely conjunctive uses. These results illustrate how mechanistic interpretability can inform syntax, generating new hypotheses about linguistic representation and processing.
• Abstract（参考訳）: 本稿では,トランスフォーマーモデルにおける因果的介入が,統語論的理論の長年の課題である統語論的島々に焦点をあてることで,英語の文法に対する洞察を提供することを示す。 コーディネートされた動詞句からの抽出は、しばしば劣化するが、アクセシビリティは、語彙の内容(例えば、彼が芸術や愛を嫌っているものを知っている)と、彼が見下ろして見たものを知っているもの)によって徐々に変化する。 現代トランスフォーマー言語モデルがこの勾配を越えて人間の判断を再現していることを示す。 トランスフォーマーブロックやアテンションモジュール,MLPなどの機能的に関係する部分空間を分離する因果的介入を用いて,コーディネート諸島からの抽出が標準捕集機構と同一のフィラーギャップ機構を担っていることを実証するが,これらの機構は様々な程度に選択的にブロックされている。 これらの因果的に特定された部分空間に関係のない大量のテキストを投影することにより、新たな言語仮説が導出される。 これらの結果は,機械的解釈可能性によって構文が理解され,言語表現や処理に関する新たな仮説がもたらされることを示す。

関連論文リスト

• Mechanisms vs. Outcomes: Probing for Syntax Fails to Explain Performance on Targeted Syntactic Evaluations [31.54093034816165]
  大規模言語モデル(LLM)は、テキストの処理と生成において、構文の堅牢な熟達を示す。 モデルの探索精度が下流の構文的性能を確実に予測するかどうかについては、網羅的な研究はまだ確定していない。
  論文  参考訳（メタデータ） (2025-06-20T01:46:50Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Assessing the Capacity of Transformer to Abstract Syntactic Representations: A Contrastive Analysis Based on Long-distance Agreement [4.995343972237368]
  長距離契約は、ニューラルネットワークモデルの構文的一般化を評価するために、ますます使われている。 多くの研究から、トランスフォーマーは様々な合意タスクにおいて高い精度で実行可能であることが示されている。 この研究は、2つの超現実的に類似しているが理論的に異なる一致現象を扱う方法とは対照的である。
  論文  参考訳（メタデータ） (2022-12-08T19:10:46Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Discourse structure interacts with reference but not syntax in neural language models [17.995905582226463]
  本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。 人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。 以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-10T03:14:00Z)
• Constructing a Family Tree of Ten Indo-European Languages with Delexicalized Cross-linguistic Transfer Patterns [57.86480614673034]
  我々は,デレクシカル化転送を,解釈可能なツリー・ツー・ストリングパターンとツリー・ツー・ツリーパターンとして定式化する。 これにより、言語間移動を定量的に探索し、第二言語習得の問い合わせを拡張することができる。
  論文  参考訳（メタデータ） (2020-07-17T15:56:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。