論文の概要: Algorithmic Consequences of Particle Filters for Sentence Processing: Amplified Garden-Paths and Digging-In Effects
- arxiv url: http://arxiv.org/abs/2603.11412v1
- Date: Thu, 12 Mar 2026 00:56:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:25.796925
- Title: Algorithmic Consequences of Particle Filters for Sentence Processing: Amplified Garden-Paths and Digging-In Effects
- Title(参考訳): 文処理のための粒子フィルタのアルゴリズム的結果:増幅されたガーデンパスとディグイン効果
- Authors: Amani Maina-Kilaas, Roger Levy,
- Abstract要約: 先天的な理論の下では、言語表現は、先天的なボトルネックによってのみ処理の困難に影響を及ぼす。
我々の推定では、構造的曖昧さの明示的な表現を持たない大きな言語モデルから推定される。
粒子フィルタモデルは、構造仮説が有限個の粒子集合として明示的に表される別の方法を提供することを示す。
- 参考スコア(独自算出の注目度): 10.217186322563318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Under surprisal theory, linguistic representations affect processing difficulty only through the bottleneck of surprisal. Our best estimates of surprisal come from large language models, which have no explicit representation of structural ambiguity. While LLM surprisal robustly predicts reading times across languages, it systematically underpredicts difficulty when structural expectations are violated -- suggesting that representations of ambiguity are causally implicated in sentence processing. Particle filter models offer an alternative where structural hypotheses are explicitly represented as a finite set of particles. We prove several algorithmic consequences of particle filter models, including the amplification of garden-path effects. Most critically, we demonstrate that resampling, a common practice with these models, inherently produces real-time digging-in effects -- where disambiguation difficulty increases with ambiguous region length. Digging-in magnitude scales inversely with particle count: fully parallel models predict no such effect.
- Abstract(参考訳): 先天的な理論の下では、言語表現は、先天的なボトルネックによってのみ処理の困難に影響を及ぼす。
我々の推定では、構造的曖昧さの明示的な表現を持たない大きな言語モデルから推定される。
LLMは言語間での読み出し時間を強く予測するが、構造的期待が破られた場合の難しさを体系的に過小評価し、曖昧さの表現が文処理に因果的に関係していることを示唆している。
粒子フィルタモデルは、構造仮説が有限個の粒子集合として明示的に表される別の方法を提供する。
ガーデニングパス効果の増幅など,粒子フィルタモデルによるアルゴリズム的な結果がいくつか示されている。
最も重要なことは、これらのモデルで共通の実践である再サンプリングが、本質的にはリアルタイムな掘り込み効果を生み出すことであり、曖昧な領域の長さで曖昧さの難しさが増大することを示しています。
ディグイン等級は粒子数とともに逆スケールする:完全な並列モデルはそのような効果を予測しない。
関連論文リスト
- Hybrid Neural-LLM Pipeline for Morphological Glossing in Endangered Language Documentation: A Case Study of Jungar Tuvan [6.367163817135528]
本稿では,ニューラルシークエンスラベリングと大規模言語モデル(LLM)を併用したハイブリッド自動グロスパイプラインを提案する。
検索強化プロンプトは、ランダムなサンプル選択よりも大幅に向上することを示す。
また, 形態素辞書は, 辞書を全く提供していない場合に比べて, パラドックス的に性能を損なうことが判明した。
論文 参考訳(メタデータ) (2026-03-01T05:03:11Z) - The Impact of Token Granularity on the Predictive Power of Language Model Surprisal [15.073507986272027]
認知モデリングにおいて見過ごされてきた要素の1つは、サブワードトークンの粒度である。
自然主義的読解時間を用いた実験は、トークンの粒度が副次的に与える影響を顕著に示している。
ガーデンパスの構成では、粗い粒度のトークンで訓練された言語モデルが、一般に臨界領域に対して高い確率を割り当てた。
論文 参考訳(メタデータ) (2024-12-16T16:24:58Z) - Gumbel Counterfactual Generation From Language Models [64.55296662926919]
対実的推論が介入と概念的に異なることを示す。
そこで本研究では,真の文字列反事実を生成するためのフレームワークを提案する。
提案手法は,従来の介入手法が望ましくない副作用を有意に生み出しているのに対し,本手法は有意義な反事実を生じさせることを示す。
論文 参考訳(メタデータ) (2024-11-11T17:57:30Z) - Do Language Models Exhibit Human-like Structural Priming Effects? [3.4435563735186747]
本稿では,言語モデル予測に影響を与える言語要因について検討する。
我々は、構造的プライミングのパラダイムを利用し、最近の構造への露出は、同じ構造の処理を容易にする。
これらの効果は、人間のプライミングで知られている逆周波数効果によって説明でき、プライミング効果はプライミング効果を増大させる。
論文 参考訳(メタデータ) (2024-06-07T11:21:52Z) - When is Particle Filtering Efficient for Planning in Partially Observed
Linear Dynamical Systems? [60.703816720093016]
本稿では, 逐次計画における粒子フィルタリングの効率性について検討する。
我々は、粒子フィルタリングに基づくポリシーの長期報酬が正確な推測に基づいてそれに近いように、必要な粒子の数に縛り付けることができる。
このテクニックは、他のシーケンシャルな意思決定問題に有効であると考えています。
論文 参考訳(メタデータ) (2020-06-10T17:43:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。