論文の概要: Language Models Keep Abandoned Analyses: Residue and Adaptation after Garden-Path Sentences

• arxiv url: http://arxiv.org/abs/2610.36797v1
• Date: Tue, 27 Oct 2026 07:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.540589
• Title: Language Models Keep Abandoned Analyses: Residue and Adaptation after Garden-Path Sentences
• Title（参考訳）: 言語モデルは放棄された分析を保ち続ける: ガーデンパス文の残響と適応
• Abstract要約: 言語モデルは、彼らが放棄した分析を使い続けるのか、そしてモデルには何があるのかを問う。 124Mから70Bパラメータの24のオープンモデルでは、庭道文は文脈に2つの痕跡を残している。 放棄された分析の残余は、名詞句が実際に対象である文の効果の約4分の3で、後のオブジェクトのアタッチメントを上昇させる。
• 参考スコア（独自算出の注目度）: 0.8122270502556375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reading "While the man hunted the deer ran into the woods" requires giving up the analysis in which "the deer" is the object of "hunted". People who have just read such a sentence still produce more transitive structures, so the abandoned analysis primes later language. We ask whether language models keep using an analysis they have abandoned, and what in the model carries it. In 24 open models from 124M to 70B parameters, a garden-path sentence leaves two traces in the context. A residue of the abandoned analysis raises later object attachment, by about three quarters of the effect of a sentence in which the noun phrase really is an object, and it appears in sampled text, on held-out and human-normed items and for a second type of garden path. An adaptation toward the resolved structure scales with the sentence's disambiguation error and acts mainly on comprehension-like measures. Activation patching separates the two. Later text reads the residue from the role information in the noun phrase's states, which were computed under the object analysis before the disambiguation, and replacing these states removes almost all of the residue in the 32B and 70B models. The adaptation is read from the states that processed the disambiguation. Overridden statements show the same persistence (a corrected value keeps pulling later predictions in 8 of 9 models), and in most models the pull is carried by the positions after the statement. Finally, the human paradigm transfers only with controls for punctuation, because the models also write garden-path sentences themselves, which reverses the paradigm's raw statistic.
• Abstract（参考訳）: 鹿を狩った男は森に逃げ込んだ」と読むと、「鹿」が「狩り」の対象であるという分析を諦める必要がある。 このような文章を読んだばかりの人は、それでもより過渡的な構造を生み出すため、放棄された分析素数は後述する。 言語モデルは、彼らが放棄した分析を使い続けるのか、そしてモデルには何があるのかを問う。 124Mから70Bパラメータの24のオープンモデルでは、庭道文は文脈に2つの痕跡を残している。 放棄された分析の残余は、名詞句が実際に対象である文の約4分の3でオブジェクトの愛着を上昇させ、サンプルテキストに現れる。 解決された構造への適応は文の曖昧さの誤りと共にスケールし、主に理解的な尺度で機能する。 アクティベーションパッチは2つを分離する。 その後のテキストでは、名詞句の状態における役割情報から残余を読み取るが、それは曖昧化の前に対象分析の下で計算され、これらの状態を置き換えることで、32Bおよび70Bモデルの残余のほとんどを除去する。 適応は曖昧さを処理した州から読み取られる。 オーバーライドされたステートメントは、同じ永続性を示す(修正された値が後続の予測を9モデル中8モデルで引き続ける)。 最後に、人間のパラダイムは句読点の制御でのみ伝達される。なぜならモデル自体も庭のパス文を書いており、これはパラダイムの生の統計を逆転させるからである。

関連論文リスト

• Last Translation Benchmark [189.61382047977074]
  最後の翻訳ベンチマークは、主要な機械翻訳モデルを壊すサンプルの集合である。 それぞれの例には、具体的な障害ケースを記述した手作りの検証ルールが付属している。 最新バージョンは、2026年9月1日までに承認されたコントリビューションを含むTBv1である。
  論文  参考訳（メタデータ） (2026-09-03T17:54:45Z)
• Who Put the I in AI? Provenance and the Admissibility of Machine Self-Report [0.0]
  本稿は、これらの記述がどこから来たのかを正確に示し、それらがいつ報告されるかの証拠とみなすことができるのかを考察する。 Pythia and OLMo 2 across 66 pretraining checkpoints, three-training stage OLMo 2 which has released, about 90,000 continuation, and four training corpora。
  論文  参考訳（メタデータ） (2026-08-24T13:13:40Z)
• Trajectory Dynamics in Language Model Hidden States Predict Human Processing Costs Beyond Surprisal [0.0]
  本稿では,単語レベルの予測誤差(副次的)と展開解釈の局所運動量に対する感度(軌道外挿誤差)が処理コストの解離可能な成分であることを示す。 この効果は特に庭道の文で顕著である。
  論文  参考訳（メタデータ） (2026-06-03T18:44:41Z)
• The Dog the Cat Chased Stumped the Model: Measuring When Language Models Abandon Structure for Shortcuts [12.241296649002756]
  CenterBenchは、センタ埋め込み文に関する9,720質問のデータセットである。 各文は、構文的に同一であるが、意味的に不明瞭な文である。 テストでは、複雑性とともに体系的に拡張された可読文と可読文の間にパフォーマンスのギャップが明らかになる。
  論文  参考訳（メタデータ） (2025-10-23T13:30:40Z)
• SlangDIT: Benchmarking LLMs in Interpretative Slang Translation [89.48208612476068]
  本稿では,スラング翻訳タスク(SlangDIT)を紹介する。 言語間スラング検出、言語間スラング説明、現在のコンテキスト内のスラング翻訳の3つのサブタスクで構成されている。 まず、文にスラングが含まれているかどうかを識別し、スラングが多義的かどうかを判断し、その意味を解析する。
  論文  参考訳（メタデータ） (2025-05-20T10:37:34Z)
• Transformer verbatim in-context retrieval across time and scale [2.7941582470640784]
  場合によっては、言語モデルはコンテキスト内情報を冗長に検索しなければならない。 本研究は, 学習過程の早い段階から, 言語内単語検索が急激な移行の中で発達したことを示す。 この結果から, 文脈内単語検索の発達はゼロショットベンチマークの学習と正の相関関係があることが判明した。
  論文  参考訳（メタデータ） (2024-11-11T15:50:01Z)
• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Reevaluating Adversarial Examples in Natural Language [20.14869834829091]
  我々は2つの最先端の同義語代用攻撃の出力を分析した。 それらの摂動はしばしば意味論を保存せず、38%が文法的誤りを導入している。 セマンティクスと文法性を改善するために制約が調整されたことにより、攻撃の成功率は70パーセント以上低下する。
  論文  参考訳（メタデータ） (2020-04-25T03:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。