論文の概要: The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models

• arxiv url: http://arxiv.org/abs/2601.19926v1
• Date: Fri, 09 Jan 2026 16:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.546803
• Title: The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models
• Title（参考訳）: トランスフォーマーの文法:言語モデルにおける構文知識に関する解釈可能性研究の体系的レビュー
• Authors: Nora Graichen, Iria de-Dios-Flores, Gemma Boleda,
• Abstract要約: 本稿では,トランスフォーマーに基づく言語モデルの構文的能力を評価する337の論文を体系的にレビューする。 以上の結果から, TLMは形式指向現象をよく捉えるが, 構文意味インタフェースにおける現象に対して, より可変かつ弱い性能を示すことが示唆された。
• 参考スコア（独自算出の注目度）: 3.281168543761194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a systematic review of 337 articles evaluating the syntactic abilities of Transformer-based language models, reporting on 1,015 model results from a range of syntactic phenomena and interpretability methods. Our analysis shows that the state of the art presents a healthy variety of methods and data, but an over-focus on a single language (English), a single model (BERT), and phenomena that are easy to get at (like part of speech and agreement). Results also suggest that TLMs capture these form-oriented phenomena well, but show more variable and weaker performance on phenomena at the syntax-semantics interface, like binding or filler-gap dependencies. We provide recommendations for future work, in particular reporting complete data, better aligning theoretical constructs and methods across studies, increasing the use of mechanistic methods, and broadening the empirical scope regarding languages and linguistic phenomena.
• Abstract（参考訳）: 本稿では,トランスフォーマーに基づく言語モデルの統語能力を評価する337の論文の体系的レビューを行い,様々な統語的現象と解釈可能性手法から1,015のモデル結果について報告する。 我々の分析では、最先端の手法やデータには健全な多様性があるが、単一言語(英語)、単一モデル(BERT)、難解な現象(スピーチや合意の一部など)に過度に焦点が当てられている。 また、TLMはこれらの形式指向の現象をうまく捉えているが、バインディングやフィラーギャップの依存関係のような構文意味のインタフェースにおいて、より可変で弱い性能を示すことが示唆されている。 今後の研究、特に完全なデータを報告し、研究全体にわたって理論的な構成と方法の整合性を高め、機械的手法の使用を拡大し、言語や言語現象に関する経験的範囲を広げることを推奨する。

関連論文リスト

• Merging Language and Domain Specific Models: The Impact on Technical Vocabulary Acquisition [0.0]
  本稿では,統合言語モデルにおける技術的語彙の統合について検討する。 本実験は, この統合プロセスが, 専門用語処理における対象モデルの習熟度に及ぼす影響を解析した。 この知見は、ドメイン固有の知識を高めるために、異なるモデルマージ手法の有効性についての洞察を与える。
  論文  参考訳（メタデータ） (2025-02-17T16:39:28Z)
• Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
  最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。 英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。 以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
  論文  参考訳（メタデータ） (2024-10-17T09:48:08Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• The Grammar-Learning Trajectories of Neural Language Models [42.32479280480742]
  ニューラルネットワークモデルは,データ上での終末性能が異なるにもかかわらず,同じ順序で言語現象を取得することを示す。 以上の結果から,NLMは一貫した発達段階を示すことが示唆された。
  論文  参考訳（メタデータ） (2021-09-13T16:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。