論文の概要: Do Syntax Heads Influence Model Behavior?

• arxiv url: http://arxiv.org/abs/2610.19231v1
• Date: Tue, 13 Oct 2026 21:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.81981
• Title: Do Syntax Heads Influence Model Behavior?
• Title（参考訳）: 構文ヘッドはモデル行動に影響を及ぼすか?
• Abstract要約: 我々は,構文関係を専門とする注意頭脳が,モデルの構文予測において因果的役割を担っていることを示す。 特殊構文ヘッドへの介入は、ランダムヘッドへの介入よりも構文予測に顕著に効果があった。
• 参考スコア（独自算出の注目度）: 15.695746908069978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer language models develop attention heads that specialize in syntactic relations, for example, attending from verbs to their subjects. Do these heads play a causal role in the model's syntactic predictions? Evidence for such a role is mixed to negative: even when we force these heads to attend to a distractor noun other than the subject, the model's syntactic predictions are still more consistent with the subject than with the distractor. Interventions on specialized syntax heads had a significantly stronger effect on syntactic predictions than interventions on random heads, but only in one of the two measures we propose.
• Abstract（参考訳）: トランスフォーマー言語モデルでは、例えば動詞から主題への参加など、統語的関係を専門とするアテンションヘッドが発達する。 これらの頭部はモデルの構文予測において因果的役割を担っているか? このような役割の証拠は否定的に混ざり合っている: たとえこれらの頭が被写体以外の散らばった名詞に出席するよう強制しても、モデルの構文予測は被写体よりも被写体との整合性が高い。 特殊構文ヘッドの介入は, ランダムヘッドの介入よりも構文予測に有意に強い効果を示したが, 提案した2つの尺度のうちの1つに留まった。

関連論文リスト

• On Support Samples of Next Word Prediction [14.854557537744405]
  本稿では,言語モデルにおけるデータ中心の解釈可能性について検討する。 代表者定理を用いて、特定の予測を促進または抑止する2種類の補足サンプルを同定する。
  論文  参考訳（メタデータ） (2025-06-04T15:13:22Z)
• Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models [5.312303275762104]
  代名詞不明瞭化のための文脈認識機械翻訳モデルにおけるアテンションヘッドの役割について検討する。 モデルにより特定の頭部が不使用であることが示され、より強い関係の1つに頭だけが参加すれば、モデル性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T13:42:49Z)
• Gumbel Counterfactual Generation From Language Models [64.55296662926919]
  対実的推論が介入と概念的に異なることを示す。 そこで本研究では,真の文字列反事実を生成するためのフレームワークを提案する。 提案手法は,従来の介入手法が望ましくない副作用を有意に生み出しているのに対し,本手法は有意義な反事実を生じさせることを示す。
  論文  参考訳（メタデータ） (2024-11-11T17:57:30Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• NOPE: A Corpus of Naturally-Occurring Presuppositions in English [33.69537711677911]
  英語におけるNaturally-Occurring Presuppositions(NOPE)を紹介する。 本研究は,10種類のプレポーズトリガーの文脈感度について検討した。 我々は、人間の推論を予測する機械学習モデルの能力を評価する。
  論文  参考訳（メタデータ） (2021-09-14T22:03:23Z)
• Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention [4.103438743479001]
  主語動詞と反射代名詞一致処理における類似性に基づく干渉効果の説明を進めます。 動詞または反射代名詞の超越性は、非文法文における促進的干渉効果を予測する。
  論文  参考訳（メタデータ） (2021-04-26T20:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。