論文の概要: Mechanisms vs. Outcomes: Probing for Syntax Fails to Explain Performance on Targeted Syntactic Evaluations

• arxiv url: http://arxiv.org/abs/2506.16678v1
• Date: Fri, 20 Jun 2025 01:46:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.301975
• Title: Mechanisms vs. Outcomes: Probing for Syntax Fails to Explain Performance on Targeted Syntactic Evaluations
• Title（参考訳）: メカニズム vs. アウトカム: 目標とした構文評価における構文欠陥の具体的評価
• Authors: Ananth Agarwal, Jasper Jian, Christopher D. Manning, Shikhar Murty,
• Abstract要約: 大規模言語モデル(LLM)は、テキストの処理と生成において、構文の堅牢な熟達を示す。 モデルの探索精度が下流の構文的性能を確実に予測するかどうかについては、網羅的な研究はまだ確定していない。
• 参考スコア（独自算出の注目度）: 33.04242471060053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) exhibit a robust mastery of syntax when processing and generating text. While this suggests internalized understanding of hierarchical syntax and dependency relations, the precise mechanism by which they represent syntactic structure is an open area within interpretability research. Probing provides one way to identify the mechanism of syntax being linearly encoded in activations, however, no comprehensive study has yet established whether a model's probing accuracy reliably predicts its downstream syntactic performance. Adopting a "mechanisms vs. outcomes" framework, we evaluate 32 open-weight transformer models and find that syntactic features extracted via probing fail to predict outcomes of targeted syntax evaluations across English linguistic phenomena. Our results highlight a substantial disconnect between latent syntactic representations found via probing and observable syntactic behaviors in downstream tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストの処理と生成において、構文の堅牢な熟達を示す。 これは階層的構文と依存関係の内在的理解を示唆するが、それらが構文構造を表現する正確なメカニズムは解釈可能性研究の領域である。 Probingは、構文がアクティベーションに線形にエンコードされているメカニズムを識別する方法の1つを提供するが、モデルの探索精度が下流の構文性能を確実に予測するかどうかに関する包括的な研究はまだ確立されていない。 メカニズム対結果」の枠組みを用いて,32個のオープンウェイトトランスフォーマーモデルを評価し,探索によって抽出した構文特徴が,英語の言語現象を対象とする構文評価の結果を予測できないことを発見した。 以上の結果から,下流タスクにおける探索と観測可能な統語行動から,潜在的統語的表現を著しく切り離すことが明らかとなった。

関連論文リスト

• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• Syntactic Substitutability as Unsupervised Dependency Syntax [31.488677474152794]
  依存関係関係や構文置換可能性の定義において、より一般的な性質を暗黙的にモデル化する。 この性質は、依存関係の両端にある単語が、同じカテゴリの単語で置き換えられるという事実を捉えている。 使用する代替品の数を増やすことで、自然データに対する解析精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-11-29T09:01:37Z)
• Probing for Incremental Parse States in Autoregressive Language Models [9.166953511173903]
  自己回帰型ニューラルネットワークモデルからの次の単語予測は、構文に対する顕著な感度を示す。 この研究は、漸進的な構文構造の暗黙的な表現を維持する学習能力の結果として、この振る舞いが生じる範囲を評価する。
  論文  参考訳（メタデータ） (2022-11-17T18:15:31Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。